【X 精華】AI 吐字速度再升級！EAGLE-4 號稱每秒 961 個 token，但授權其實是 source-available

摘要

前情提要：大模型回答慢，很多時候不是想太久，而是一次只能吐一個 token。EAGLE 系列做的是「推測解碼」：先用小模型猜接下來好幾個字，再讓大模型一次驗收，猜對就整串收下。EAGLE-1 到 EAGLE-3 已經是業界常用的加速招式。 最新發展：Eagle 官方 @EagleCorp 在台灣時間 10/21 清晨發布 EAGLE-4，官方宣稱阿里 Qwen3.8-27B 在 4 張 NVIDIA B300 上、單一請求可跑到每秒 961.6 個 token。GitHub 上的實測表則保守不少：vLLM 單請求約 2.99 倍，SGLang 併發 8 個請求約 1.91 倍、64 個約 1