通义千问：Qwen 3.5 系列 GPTQ-Int4 量化权重发布
Qwen 团队发布 Qwen 3.5 全系列 GPTQ-Int4 量化版本，原生支持 vLLM 和 SGLang 推理框架，显存占用更低，适合 GPU 资源有限的部署场景。
查看原文Qwen 3.5 全系列推出 GPTQ-Int4 量化版，原生集成 vLLM/SGLang，显存占用大幅降低。这是面向 GPU 资源受限场景的务实选择，适合想本地部署但显存不够的开发者，但需注意量化精度损失，非极致性能优先场景的首选。
产品是什么
Qwen 3.5 全系列 GPTQ-Int4 量化版本是阿里云通义团队针对旗下 Qwen 3.5 大语言模型推出的 4-bit 整数量化权重。相比 FP16 全精度版本，Int4 量化可将模型体积压缩约 75%，显存占用降低至原来的 1/4 左右，使得 72B 参数的模型可以在单张 24GB 显存的显卡（如 RTX 4090）上运行。
本次发布的核心亮点是原生支持 vLLM 和 SGLang两大主流推理框架。vLLM 以 PagedAttention 闻名，擅长高并发推理；SGLang 则是今年快速崛起的框架，在结构化输出和 Agent 场景表现突出。Qwen 团队直接在量化权重中集成对这些框架的优化，意味着开发者无需额外编译或适配，拿来即用。
解决什么问题
大模型部署的核心痛点之一是显存墙。Qwen 3.5 系列最大参数规模达 72B（甚至更大），FP16 精度下仅模型权重就需要约 144GB 显存，超出大多数独立开发者和中小团队的硬件能力。Int4 量化是当前性价比最高的显存压缩方案之一，配合 vLLM 的连续批处理或 SGLang 的结构化推理，可实现「消费级 GPU 跑大模型」的实用化部署。
此外，量化版本的
继续阅读深度解读 + 编辑加注
下方还有 3-5 段深度分析 + Vincent 编辑加注 + 可点击信源，仅 Pro 会员可见
¥99 / 季 · 每周 1 篇深度研报 · 飞书+微信群双通道
已是 Pro 但仍被提示？联系反馈
- Qwen 3.5 系列 GPTQ-Int4 量化权重发布 · 2026-03-03
- vLLM 官方文档 - 量化支持 · 2025-01-01
- SGLang 官方 GitHub · 2025-12-01