Token 生成效率：關鍵約束與核心技術

發布日期：2026-10-13

Token 生成效率取決於一系列硬性上限。你的硬體、功耗預算、香港伺服器基礎設施，以及模型架構共同決定了這個上限。經濟壓力影響你在大規模部署模型時做出的每一個決策。這些約束是真實存在的，也明確限制了你最終能做到什麼。

你可以透過審慎的系統設計、更聰明的任務最佳化，以及專門化訓練來突破這些限制。本文會指出那些拖慢系統的具體瓶頸，也會標出緩解它們的技術路徑。你將理解摩擦從何而來，以及哪些工具可以消除它。目標很單純：在相同算力下產出更多有用結果。正是這種聚焦，讓整篇討論保持務實可行。

核心重點

硬體與功耗上限決定了 token 生成效率的理論最大值。
模型路由與函式呼叫可以大幅減少 token 浪費與成本。
快取與壓縮技術能降低記憶體占用並加速生成。
從快取與批次處理著手，在低風險前提下立即獲得成本收益。
透過「每瓦 token 數」與快取命中率來追蹤你的效率提升。

是什麼限制了 token 生成效率

硬體與功耗限制

「每瓦 token 數」（tokens per watt）是任何線上推理部署的核心效率指標。這個比值越高，代表在固定功耗下完成的可計費 AI 工作越多，從而直接降低單 token 成本並拉高利潤空間。有多種硬體因素會影響這個比值，它們之間的交互卻經常被忽略。

批次大小是時間與能耗權衡上的首要調節旋鈕。放大批次一開始會降低單 token 能耗，因為固定的準備與核心啟動開銷被攤提到更多 token 上。在批次從 32 提升到 256 的區間內，下降最為陡峭，此時 GPU 使用率會從不足 50% 升至接近滿載。批次大小再繼續增大，曲線則會趨於平緩。在整個範圍中，小批與大批之間的能耗差距可達 2–3 倍。上下文長度則往相反方向施壓。隨著提示變長，能耗會穩步上升，因為預填階段必須處理每一個輸入 token。以 Llama3 70B 為例，將上下文從 2K 提升到 10K token，單 token 能耗大約會增加 3 倍。

GPU 顯示記憶體容量會封頂你可用的批次大小。一旦顯示記憶體被占滿，繼續放大批次就無法再帶來單 token 能耗的下降。KV 快取壓力會放大這個問題。輸出序列越長（例如推理型任務），每次回應佔用的 KV 快取就越多，這會壓縮可行批次上限，並推高單 token 能耗。CPU 端瓶頸同樣重要。多模態前處理（例如影像編碼）可能成為嚴重瓶頸，限制可行批次大小，即便 GPU 端仍有富餘顯示記憶體，也會使 GPU 難以充分利用。平行化策略也很關鍵。純張量平行往往能提供最佳能效，而過長的管線化則會讓 GPU 閒置。最佳與最差切分方案之間的差距，會從標準負載下每個 token 約 40 焦耳，擴大到高吞吐情境下每個 token 超過 60 焦耳。

模型複雜度與成本

記憶體頻寬以一種算力升級無法彌補的方式限制了吞吐。自回歸解碼位於 Roofline 曲線稜線的極左側：每個權重位元組從 HBM 中被讀出後，只參與少量乘法運算便被淘汰。算術強度長期偏低，頻寬斜率主導了效能上限。即便在大批次情境下，算術強度依然不高：對 Llama3-405B 為 41.56，對 DeepseekV3 為 89.83——這直接量化了「大型語言模型推理受限於顯示記憶體頻寬」。

輸出 token 時間（TPOT，Time Per Output Token）直接受這個上限的制約。一個 70B FP16 模型在每一步解碼時，大約需要讀取 140 GB 權重。在一顆 H100 SXM5（3.35 TB/s HBM 頻寬）上，由此推得 TPOT 的理論下界約為 42 毫秒/token。將 FLOPS 加倍並不會改變這個下限，只有更高頻寬才會按比例拉低 TPOT。更低的 TPOT 意味著更快的生成速度與更佳的使用者響應體驗。

KV 快取成長又疊加了一層成本。每生成一個新 token，都會在每一層 Transformer 中新增一個位置的 KV 狀態。每個 token 帶來的記憶體增量，會被層數成倍放大。以 Qwen3-Next 的注意力形狀為例，在 128K 上下文下，12 層完整注意力大約需要 3 GB BF16 KV 快取；而 48 層配置則需要 12 GB，相當於層數放大 4 倍，KV 占用也隨之增加 4 倍。模型複雜度也透過參數規模重塑成本結構。token 到 token 的延遲大致按參數數量的平方根擴張。PaLM 系列實測數據顯示：8B、62B 與 540B 參數模型的單 token 延遲分別約為 4 ms、13 ms 與 32 ms。模型越大，單 token 成本越高，而諸如高效注意力或稀疏感知層這類架構設計，則可以在一定程度上上調或下調這項成本。

提升效率的核心技術

路由與任務最佳化

模型路由會把每個請求交給「剛好足夠好」的最低成本模型。你依據請求難度匹配模型大小，而不是讓所有流量都走最大模型。token 級路由則更進一步：它允許同一段回應中的不同 token 由不同模型生成。這裡的成本度量是「平均輸出 token 數 × 平均參數規模」，它提供了一個與具體硬體無關的延遲指標。實務上，在數學、程式碼與寫作等基準上，token 級路由往往優於請求級路由和蒸餾模型。

透過函式呼叫實現的結構化輸出，可以大幅降低 token 浪費。自由格式 JSON 生成會產生大量空白、控制字元與括號組合，這些幾乎沒有機器可讀價值。函式呼叫使用基於文法的受限解碼：它將 JSON Schema 轉換為上下文無關文法，並在每一步解碼時動態收緊允許輸出的 token 集合。直接對比發現，在同等任務下，函式呼叫消耗的完成 token 遠少於自由格式 JSON，而 YAML 的表現介於兩者之間。受限解碼也能加速生成，因為它跳過了許多不必要的路徑探索。如果系統需要多次重試才能得到可解析輸出，API 成本與回應時間都會成倍增加；而在嚴格模式下的函式呼叫可以徹底消除這類重試。

上下文壓縮與快取

KV 狀態快取會儲存已計算好的 Key 與 Value 注意力狀態。每個新 token 僅需執行一次輕量級注意力步驟，而不必重新計算整個上下文。有些快取變體會在所有層統一快取 Key 與 Value 張量，藉此在縮小 KV 快取體積的同時避免重複計算。選擇性淘汰策略會根據注意力模式移除較不重要的 KV 配對。快取壓縮則透過降低 KV 表示的位元數來縮小快取，讓更多 token 能常駐於記憶體中。混合記憶體方案會在 HBM、DRAM 與 SSD 之間進行分層儲存；對某些工作負載而言，以 SSD 為首層的作法仍能取得相當高的命中率。新型注意力機制可以顯著降低每次請求的 KV 占用。對於智能體工作負載而言，快取讀取 token 常常佔據 token 總量的大宗，此時快取命中率就成為推理經濟性的首要驅動因素。

高效推理引擎與專門化訓練

高效推理引擎負責把底層基礎設施的改善，真實轉化為吞吐量。它們提升整體吞吐、降低成本，並讓複雜推理模型能在 GPU 叢集上順利擴展。採用更窄數值格式進行的專門化訓練，可以在維持等效精度的前提下，顯著提升「每秒每瓦生成 token 數」。極致協同設計則把所有層面拴成一個整體：你會把功耗、散熱、網路、算力與軟體視為一個系統來優化。電力成本可能佔 AI 工廠營運支出的很大一部分；在目標互動延遲下，經過精細協同設計的 AI 工廠，在每兆瓦產出的 token 數上，能明顯領先未經優化的部署。這種全棧方法可以直接壓低每個 token 成本，並最大化你的 AI 投資報酬。

衡量 token 生成效率

Token 生成效率指標

你需要能把 token 消耗與「完成的實際工作」掛鉤的指標。像「消耗 token 數」或「送出提示次數」這類活動指標，只能證明「有在動」，卻無法證明「有產生價值」。像合併 PR 數、已解決工單數或客戶轉換數這類結果指標，才能把 token 使用與經驗證的商業成果連結起來。「每美元 token 數」將消耗對應到財務成本，而「每瓦 token 數」則把消耗綁定到能源使用。token 效率比（token efficiency ratio）則是「有用輸出 ÷ 總消耗 token 數」。在品質相同的前提下，兩份輸出的成本可能相差甚大。輸入效率衡量你的提示是否足夠精簡，輸出效率衡量你實際使用了多少生成內容。在請求層級，需要關注每次請求 token 數、每次請求成本、每步延遲，以及每秒 token 數。對於智能體工作負載來說，快取命中率尤為關鍵，因為在長會話情境下，快取讀取常常佔據帳單的主要部分。

將策略與工作負載對應

不同工作負載會偏好不同策略。高頻短文本生成最適合採用經濟型模型、輸出約束與提示快取——其中，快取提示的輸入成本遠低於一般輸入。長文件摘要工作則更受益於上下文視窗管理、RAG 分塊最佳化與批次處理。下表比較幾類主要策略。

策略	效果	成本節省	最佳使用情境
路由	將請求難度與模型規模精準匹配	在高流量且具有共享前綴的情境下，大幅節省運算資源	難度混合流量、多模型共用部署
壓縮	量化與稀疏化，在微小品質損失下換取效益	相較 FP16 提升吞吐；70B 模型約 140GB 權重占用可大幅縮小	受記憶體限制的部署、較小規格硬體
快取	消除重複計算	大幅減少 KV 快取浪費，支援更多併發請求	智能體、重複系統提示、長上下文情境
推理引擎	連續批次處理讓 GPU 持續處於忙碌狀態	相較靜態批次處理，可顯著提升 GPU 使用率	大規模生產級線上推理
專門化訓練	經微調的小模型取代大型模型	推理成本僅為大型模型的一小部分	窄領域、高頻分類任務

要將引擎與硬體匹配，需要檢查模型相容性，並在延遲與吞吐之間取得平衡。面向最終使用者的對話服務優先考量 p95 延遲與自動擴縮；批次推理則更看重單任務成本與整體吞吐量。

權衡與落地考量

準確度、延遲與複雜度成本

每一種效率策略都伴隨成本。成本–品質分析會將成本與品質繪在同一張圖上，協助你找到「效率前緣」。大型模型往往存在報酬遞減：準確度僅略有提升，但單 token 成本卻大幅上升。上下文壓縮雖然能讓你採用視窗更小、成本更低的模型，卻也可能遺漏關鍵資訊，進而拉低答案準確度。動態路由將簡單請求送往更高效模型，但這些模型可能失敗或回傳低信心結果，迫使系統回退到更昂貴的模型。

壓縮數據非常直觀地揭示了這種權衡：在中等壓縮強度下，延遲與尖峰記憶體占用都會下降，吞吐提升，而準確度維持良好。極端剪枝在預算固定情境下是危險的：只有在中度壓縮下，高效率與低記憶體占用才會同時存在；激進剪枝則需要導入按層自適應等更精細的方案。

token 效率策略	與模型準確度的權衡
成本–品質分析	更大模型可能以更高 token 成本換取有限準確度提升
上下文長度最佳化	壓縮或檢索過程可能遺漏資訊，導致準確度下降
任務特定最佳化	對某一任務最優的模型，可能在另一任務表現不佳
動態模型選擇	高效模型可能失敗，進而觸發更昂貴模型的回退
模型版本管理	新版本可能成本更高，或修改 token 計費方式

部署與營運陷阱

吞吐提升並非自然而然發生。在採用 FlashAttention 或 PagedAttention 的環境中，天真的 KV 快取壓縮策略不一定能提升吞吐，甚至可能因輸出變長而拖累效能。注意力核心不匹配與頁面碎片化也會抵銷理論收益，因此必須在實際生產推理堆疊中驗證壓縮效果。路由與回退決策需要倚靠預測型防護（例如自動負樣本評估器與吞吐預測器），而不只是靜態規則。

token 生成效率同樣影響「買方研究」的結果可信度。為每條呼叫路徑設定上下文預算，並在超出時觸發警示，避免上下文默默膨脹。檢索時「寧少勿多」：返回較少但排序更佳的片段，往往成本更低、答案更好。組織提示時，請先放穩定內容，再放變動內容，因為若提示開頭在每次呼叫時都在變化，就無法從前綴快取中獲益。上下文不精確會導致幻覺與「上下文腐爛」：無關資訊會耗盡模型的注意力預算。更大的上下文視窗並不能治癒這個問題，只是將失敗點往後推移。

IDC 的研究量化了信任缺口：只有極少數企業表示，他們總是對主要資訊探索工具在事實層面的答案充滿信心。許多企業依舊停留在試行階段，難以邁向全面上線，主因正是他們不信任智能體的輸出。

先從快取開始，它對準確度沒有任何風險，卻能帶來最高的單 token 節省率。接著導入批次處理，這通常只需要一次簡單的 API 調整，卻幾乎必定帶來成本折扣。最後再評估路由策略，因為那需要針對你的特定提示分佈進行基準測試。

Token 生成效率同時受到物理與經濟約束，而解法主要是架構與流程層面的調整。從快取與路由著手，這些變更風險低，卻能立即帶來節省。有企業的每月 API 成本因此大幅下降，同時也取得了相當可觀的快取命中率。僅憑路由就能顯著降低平均單次請求成本，而提示快取則可在快取內容上明顯壓縮輸入成本。更深入的模型改造可以之後再做。在此基礎上，再對功耗、算力與軟體做極致協同設計，以追求全棧效益。持續追蹤「每瓦 token 數」、「每秒 token 數」、「每百萬 token 成本」、「快取命中率」、「TPOT」以及「首 token 時間」等指標。