Latent Space:taalas 发布 HC1 推理 ASIC 芯片,速度达 17000 token/秒
AI 推理专用 ASIC 芯片 HC1 发布,Llama 3.1 8B 推理可达 17k token/s。swyx 指出结合今冬 HC2 计划,ASIC 与 GPU 的性能差距将在两年内归零。
查看原文本解读由 AI 自动生成 · 模板:事件解读 · 仅供参考,请以原文为准。
AI 推理专用 ASIC 芯片 HC1 发布,Llama 3.1 8B 推理可达 17k token/s。swyx 指出结合今冬 HC2 计划,ASIC 与 GPU 的性能差距将在两年内归零。
查看原文