【X 精華】軟體比硬體更猛？vLLM 把 Kimi K3 推到每秒 842 個 token

摘要

前情提要：Kimi K3 是 Moonshot 開源的 2.8 兆參數 MoE（混合專家）模型。要餵得動這種巨獸，除了 NVIDIA GB300 這類頂級硬體，推論引擎的優化一樣關鍵。vLLM 就是一套開源的高吞吐大型語言模型服務引擎。 最新發展：vLLM 官方帳號在台灣時間 10/18 約 09:55 宣布，在 NVIDIA GB300 NVL72 上用統一的 CuTe DSL 解碼路徑（把 attention、MoE 和通訊融合在一起），Kimi K3 在 batch 1 加 DSpark 的設定下達到每秒 842 個 token。多組設定的解碼吞吐提升約 1.5 到 2 倍，Agent