SGLang

SGLang（Structured Generation Language）是由 LMSYS 主持的高性能 LLM 推理框架，支持 RadixAttention、连续批处理、投机解码等优化。

核心特性

• RadixAttention：基于基数树的 KV cache 共享
• 连续批处理：动态调度，最大化 GPU 利用率
• 投机解码：小模型草稿加速大模型推理
• 量化支持：FP4/FP8 混合精度推理

与 DeepSeek V4 的关系

SGLang 是 DeepSeek-V4 的核心部署框架：

• 支持 FP4/FP8 混合精度推理
• 支持 CSA/HCA 稀疏注意力优化
• 集成 CXL 内存池化（Engram 嵌入表卸载）

关联

• DeepSeek — SGLang 的重要用户
• Engram — CXL 方案集成进 SGLang
• CXL — SGLang 支持的内存扩展
• FP4 — SGLang 支持的量化格式