Apple：发布 Stochastic KV Routing 论文

核心要点

Apple 发布论文提出 Stochastic KV Routing 方法，通过随机路由机制让 KV Cache 能够在模型不同深度层之间自适应共享，无需预定义共享策略，从而优化大模型推理过程中的内存利用率和计算效率。

深度解读

这篇论文直击大模型推理的关键痛点——KV Cache 的内存瓶颈。在自回归生成过程中，Transformer 每生成一个 token 都需要访问所有历史 token 的 Key-Value 对，随着上下文增长，KV Cache 显存占用急剧膨胀，成为制约长文本生成的瓶颈。

传统方法如 PagedAttention 采用固定策略管理 KV Cache，而 Apple 此番提出的 Stochastic KV Routing 引入了概率性路由：不同深度层的注意力可以动态选择复用已缓存的 KV，避免了预定义共享模式带来的灵活性不足。这一设计类似于 Mixture of Experts 的随机路由思想，但应用于记忆管理领域。

对于 Apple 自身的设备端 AI 战略而言意义重大——iPhone/Mac 的端侧大模型推理资源极为有限，更高效的 KV Cache 利用意味着可以在内存约束下支持更长的上下文窗口或更快的响应速度。这也是 Apple 在 M4 Neural Engine 基础上持续推进软件层优化的关键一环。

值得关注

• 论文开源与 Benchmark 结果：该方法在标准推理任务上的加速比和内存节省幅度值得关注，尤其是与 FlexGen、PagedAttention 等现有方案的对比
• Apple 设备端 AI 落地时间表：结合 WWDC 可能的 announcements，这一技术何时会集成到 Apple Silicon 的推理框架中
• 行业跟进与竞争：Google、NVIDIA 等其他厂商是否会有类似的动态 KV Cache 共享方案出台，推动推理优化军备竞赛