vLLM集成fastokens：开源Rust分词器兼容DeepSeek、Qwen等模型

产品是什么

fastokens 是由 Crusoe AI 与 NVIDIA AI Dynamo 联合开发的高性能开源 Rust 分词器，采用 BPE（Byte Pair Encoding）算法实现。作为 vLLM 的可选后端（通过 --tokenizer 参数指定），它专为解决长上下文推理场景下的 CPU 分词瓶颈而设计。

解决什么问题

在 agentic AI、RAG（检索增强生成）和多轮对话等长上下文场景中，分词（tokenization）是高频 CPU 操作。传统 Python 实现（如 Hugging Face tokenizers）在高并发下容易成为吞吐量瓶颈——分词速度跟不上 GPU 生成速度，造成资源空转。

fastokens 的核心价值在于：将分词这一计算密集型任务从 Python 生态迁移到 Rust，利用 Rust 的零成本抽象和 SIMD 加速，实现 数量级的延迟降低。官方数据显示，在处理长 prompt（数千 token）时，分词阶段耗时可压缩至原来的几分之一。