Latent Space:taalas 发布 HC1 推理 ASIC 芯片,速度达 17000 token/秒
AI 推理专用 ASIC 芯片 HC1 发布,Llama 3.1 8B 推理可达 17k token/s。swyx 指出结合今冬 HC2 计划,ASIC 与 GPU 的性能差距将在两年内归零。
查看原文AI 资讯解读
本解读由 AI 自动生成,仅供参考。请以原文为准。
AI 推理专用 ASIC 芯片 HC1 发布,Llama 3.1 8B 推理可达 17k token/s。swyx 指出结合今冬 HC2 计划,ASIC 与 GPU 的性能差距将在两年内归零。
查看原文