LMSys 联合 DeepLearning.AI 推出 LLM 推理加速课程

核心要点

2026 年 4 月 8 日，LMSys 宣布与 DeepLearning.AI 联合推出面向开发者与研究者的 SGLang 推理优化课程，核心卖点为 LMSys 自研的 RadixAttention 技术。该技术通过 KV-cache 复用机制避免重复处理相同的 system prompt，可显著降低长上下文推理的计算开销。课程预计覆盖 SGLang 的部署实践、RadixAttention 的原理与调优策略，面向有一定 LLM 开发基础的受众。

原文 + 中文翻译

原文："We are excited to partner with DeepLearning.AI to launch a new course on SGLang inference optimization. The key technology is RadixAttention, which enables KV-cache reuse across requests with shared system prompts, dramatically reducing compute overhead."

翻译：「我们很高兴与 DeepLearning.AI 合作推出关于 SGLang 推理优化的新课程。核心技术是 RadixAttention，它能在具有相同 system prompt 的请求之间实现 KV-cache 复用，显著减少计算开销。」

原文补充（来自 DeepLearning.AI 官方页面描述）："This course covers SGLang deployment, RadixAttention internals, and practical tuning for production workloads. Learners will build a chatbot serving pipeline with >3x throughput improvement over naive baseline."

翻译：「本课程涵盖 SGLang 部署、RadixAttention 内部原理及生产工作负载的调优实践。学员将构建一个聊天机器人服务管道，吞吐量较朴素基线提升 3 倍以上。」

深度解读

1. LMSys 的战略意图：从 benchmark 平台到教育生态

LMSys 最初以 Arena（大模型匿名对战平台）闻名，为行业提供了几乎唯一的公开模型对比基准。但 benchmark 平台本身的商业化空间有限——用户来去自由，且 OpenAI、Anthropic 等厂商也在逐步建立自己的评估体系。LMSys 近年来逐步向推理框架层延伸，SGLang 是其最重要的开源产品，定位介于 vLLM 和 LightLLM 之间，主打"结构化输出 + RadixAttention"的差异化能力。此次与 DeepLearning.AI 合作推出课程，意味着 LMSys 在走一条先把工具用起来，再让使用者成为生态贡献者的路线。教育内容的受众往往会在生产环境中继续使用所学工具，从而形成对 SGLang 的路径依赖。

2. RadixAttention 的技术价值与适用边界

RadixAttention 的核心创新在于用一棵 trie 树（或 radix tree）管理 KV-cache，当多个请求共享相同的 system prompt（如相同的 agent 指令、few-shot 示例）时，只需在树根节点缓存一次，而非为每个请求独立存储。这在 Agent 场景（system prompt 动辄 2-4k tokens）中价值尤为突出。LMSys 宣称的「>3x 吞吐量提升」对应的是高共享率的场景；在实际生产中，如果请求的 user prompt 差异极大而 system prompt 几乎不变，提升幅度可能更大；但若 system prompt 本身较短，收益会递减。开发者需要关注的是：RadixAttention 的内存管理策略是否会增加首 token 延迟（TTFT）——树查询开销在极端高并发下可能成为瓶颈。

3. DeepLearning.AI 的内容战略：押注推理优化赛道

DeepLearning.AI 近年来课程重心从「基础 LLMs」向「LLM 应用工程」迁移，之前的 LLM Agents 课程和 Evaluation 课程都取得了不错的口碑。推理优化是一个此前鲜有系统化教学资料的领域——大多数开发者是通过 GitHub Issues 和 Discord 零散学习。DeepLearning.AI 选择与 LMSys/SGLang 合作而非 vLLM 或 TGI，说明他们看好 SGLang 在「结构化输出 + Agent 工作流」这个细分场景的增长潜力，同时 LMSys 的开源社区活跃度（GitHub star 数近两年增速可观）也提供了流量保证。这是一个双赢组合——DeepLearning.AI 获得差异化课程内容，LMSys 获得潜在用户转化。

4. 对推理框架竞争格局的影响

当前推理优化领域呈现「三极格局」：vLLM（通用性强，生态最广）、SGLang（结构化输出 + RadixAttention 差异化）、TensorRT-LLM（NVIDIA 官方绑定，性能极致但灵活性受限）。SGLang 此前在开发者中的认知度弱于 vLLM，课程的商业推广有望改变这一局面。如果课程中大量涉及 SGLang 特有 API（如 lark.grammar 结构化约束），开发者一旦习惯使用，迁移成本将显著提升，这对 vLLM 形成一定的护城河压力。

值得关注

• 课程上线时间与定价：DeepLearning.AI 尚未公布具体开课日期，需关注官方页面更新；若为免费课程，传播速度会更快；若为付费课程（DeepLearning.AI 近期有付费高级课趋势），其定价策略将影响受众范围。
• SGLang 的 GitHub 活跃度变化：课程上线前后可观察 star 数、PR 合并速度、Discord 成员增长，作为生态扩张的前瞻指标。
• RadixAttention 的 benchmark 数据：LMSys 尚未在公开论文中详细对比 RadixAttention 与 vLLM 的 PagedAttention，需等待独立第三方测评（如 Helium AI 或 artificial analysis 的评测报告）。
• vLLM 的应对策略：vLLM 社区是否会加速合并类似的 KV-cache 共享机制（如正在讨论的 "prefix caching" 方案），或通过差异化 API 维持竞争力。
• 企业用户的实际采纳案例：课程结束后的学员项目分享（DeepLearning.AI 通常会在社区发布）将反映 SGLang 在真实生产环境中的落地情况，尤其是 Agent 场景（如客服机器人、代码生成 Pipeline）下的表现。

信源行：
原文链接：https://x.com/lmsysorg/status/2041947761755746434
背景报道：DeepLearning.AI 官方课程页面；SGLang GitHub 仓库（含 RadixAttention 技术文档）；人工分析领域（Artificial Analysis）2025 年推理框架对比报告。