為什麼 AI 推理正在推動伺服器架構變革

你會看到，AI 推理需求正以極快的速度重塑伺服器架構。產業領導者不斷強調，你需要迅速適應這一變化。為了在邊緣側處理即時推理，你需要具備低延遲、高能效和可擴充性的系統。先進晶片與散熱技術，正在主導每一項基礎設施決策。

AI 推理的需求

市場成長與趨勢

你會發現，AI 推理需求正在改變企業建構和使用伺服器的方式。如今，企業正從測試 AI 推理邁向大規模部署。這一轉變迫使你重新思考基礎設施布局。AI 推理需求推動了對超大規模園區的投資，這類園區的容量通常在 50MW 到 100MW 之間。企業會尋找價格低廉且面積廣闊的土地，以支撐這些大型資料中心的建設。

你也會注意到，更小型的邊緣資料中心正在興起。這些資料中心更靠近使用者，有助於降低延遲。隨著越來越多企業採用生成式 AI 模型和大規模語言架構，AI 推理需求持續成長。你會看到，超大規模雲端廠商和半導體公司都在進行大規模投資，以滿足這一需求。即時分析與自動化正成為企業營運的核心。為了跟上這一趨勢，你必須聚焦於可擴充且具成本效益的雲端部署。

• AI 部署規模快速加速擴大

• 持續投資超大規模園區

• 邊緣資料中心成長，以滿足對延遲敏感的工作負載需求

• 生成式 AI 模型快速普及

• 企業愈發重視即時決策

即時處理需求

即時處理正在塑造伺服器硬體設計。對於語音助理、自動駕駛汽車等應用，你需要低延遲。高吞吐量則讓你能夠同時處理大量推理請求。功耗效率同樣重要，尤其是在邊緣運算環境中。AI 推理需求意味著你必須優先考慮這些能力。

• 即時處理需要低延遲，才能帶來更好的使用者體驗。

• 高吞吐量確保你能夠快速處理多個推理任務。

• 高能效支援系統在邊緣位置高效運作。

近期趨勢表明，基於雲端的 AI 推理服務正在快速成長。GPU 和 AI 加速器技術的進步，幫助你滿足即時需求。你會看到，AI 推理需求正成為運算成長的主要驅動力。企業如今依賴即時決策與自動化，使得推理工作負載變得不可或缺。

你必須調整基礎設施，以支援即時 AI 推理。這一轉變正在推動伺服器架構創新，並改變你設計資料中心的方式。

什麼是 AI 推理？

推理與訓練的差異

在 AI 領域，你經常會聽到兩個主要階段：訓練和推理。訓練是透過大型資料集讓模型學習並建立能力；推理則是使用已經訓練好的模型進行預測或決策。你需要理解，這兩個階段在硬體需求和成本結構上存在明顯差異。

• 訓練需要高效能硬體，例如多張 GPU 或 TPU。你必須處理海量資料集，並執行複雜計算。

• 推理通常可以執行在更簡單的硬體上。你可以使用單張 GPU，甚至 CPU，因為其計算強度相對較低。

• 訓練工作負載需要極高強度的計算週期；推理則聚焦於盡可能降低延遲，以便快速獲得回應。

• 訓練型基礎設施以吞吐量為核心；推理系統則優先追求低延遲和在較低硬體要求下的高效能表現。

• 訓練成本涵蓋運算資源、網路、儲存以及工程團隊投入，通常還需要數千個加速器。推理成本相對較低，重點在於用更簡單的配置實現高效能。

在企業 AI 中的角色

你依賴推理來驅動企業中的即時應用。企業使用 AI 推理來自動化任務、改善客戶體驗並加快決策。你會看到，像 OpenAI 這樣的公司推出了 mini 和 nano 模型，例如 GPT-5.4，以最佳化高頻、低延遲場景下的應用表現。這些模型可以幫助你滿足特定業務需求，提升效率並降低成本。

• 企業將推理整合進業務流程，以應對成本可預測性和不同延遲要求等問題。

• 你需要存取現有企業資料，而這些資料往往分散且敏感。在金融和醫療等產業中，資料管理尤為關鍵。

• NetApp 與 NVIDIA 等公司的合作，凸顯了為 AI 工作流程管理資料的重要性。

你會看到，AI 推理正在成為企業策略的核心組成部分。你可以利用它解決關鍵挑戰，並推動組織創新。

AI 推理工作負載的要求

低延遲

在設計 AI 推理系統時，你必須優先考慮低延遲。許多關鍵任務型應用，例如詐欺偵測和自動駕駛汽車，都要求即時回應。這些場景中的工作負載通常要求延遲控制在 10 到 100 毫秒之間。對於自動駕駛汽車而言，你需要以低於 10 毫秒的延遲處理感測器資料，以確保安全性。你也會發現，對於即時 AI 工作負載而言，高可靠性和靠近使用者的地理部署同樣至關重要。在這些場景中，你無法容忍延遲，因此必須部署能夠穩定提供低延遲的基礎設施。

高吞吐量

你需要高吞吐量來同時處理大量推理請求。AI 工作負載通常要求你平行處理大批量資料。這與傳統伺服器工作負載不同，後者對平行性的要求沒有這麼高。下表展示了 AI 推理與傳統工作負載之間的差異：

你必須針對高吞吐量和低延遲最佳化硬體，才能滿足現代 AI 工作負載的需求。

能源效率

在擴大推理工作負載規模時，你不能忽視能源效率。上海、北京等城市的現代資料中心已為能耗設定了嚴格基準。你可以看到，能耗趨勢通常會在某些輸入規模上達到峰值，隨後略有下降。你必須在效能與能源效率之間取得平衡，以降低成本並實現永續發展目標。

可擴充性

你需要可擴充性來支援不斷成長的 AI 工作負載。伺服器架構必須允許你在需求增加時增加更多節點。你應當採用模組化元件，並在運算、網路和儲存之間建立清晰定義的介面。這樣的方法支援漸進式擴充，也有助於你高效管理推理工作負載。可擴充性確保你能夠在無需大規模重構的前提下滿足未來 AI 需求。

如果想在 AI 推理領域取得成功，你必須聚焦低延遲、高吞吐量、能源效率和可擴充性。這些要求會塑造你在伺服器架構上的每一項決策。

AI 推理帶來的伺服器架構變化

加速器與 CPU

當你部署 AI 推理工作負載時，會看到伺服器硬體正發生重大轉變。如今，大多數新伺服器部署都包含專用加速器。GPU 約占資料中心 AI 協同處理器部署總量的 74%。你也會看到企業使用 TPU 和 FPGA 來提升特定任務的效能。這些加速器幫助你快速處理大批量資料，並降低即時應用的延遲。

CPU 架構也在演進，以支援大規模 AI 部署。更寬的向量單元讓 CPU 能夠平行處理更多資料。記憶體層級結構的增強提升了存取速度和效率。專用指令集針對機器學習運算進行了最佳化，使推理更快、更可靠。你必須根據模型部署需求，選擇合適的加速器與 CPU 組合。

• GPU 在 AI 協同處理器部署中占據主導地位。

• TPU 和 FPGA 為客製化推理工作負載提供靈活性。

• 如今的 CPU 擁有更寬的向量單元、更優的記憶體層級和專用指令集。

記憶體與儲存

你需要依賴高效能記憶體和儲存解決方案來支撐 AI 推理。對於電腦視覺和自然語言處理等即時應用，LPDDR5X 和 NVMe SSD 至關重要。高速、高頻寬、低延遲的記憶體能夠避免推理過程中的卡頓，確保模型部署順暢進行。

LPDDR5X 相較於 LPDDR4 可帶來 50% 的效能提升，單 pin 速率最高可達 8.5 GT/s。NVMe SSD 採用先進 NAND 技術，為邊緣工作負載提供高效能與低延遲儲存存取。UFS 3.1 傳輸速度最高可達 23.2 Gb/s，能夠支援複雜 AI 模型與快速推理。為了避免 AI 部署過程中的瓶頸，高效的資料流動至關重要。

• LPDDR5X 提升了即時推理效能。

• NVMe SSD 為邊緣模型部署提供快速儲存存取能力。

• UFS 3.1 支援高階 AI 工作負載所需的高速資料傳輸。

網路升級

你必須升級網路基礎設施，以滿足 AI 推理的需求。高速網路可以降低延遲，並支援大規模模型部署。透過 RoCEv2 實現的無損乙太網路支援直接記憶體到記憶體的資料傳輸，大幅減少延遲和抖動。先進的壅塞管理可防止封包遺失並管理流量突發，從而保持 AI 模型同步的穩定性。

Leaf-spine 架構提供低延遲路徑，使你能夠擴充 AI 叢集而不損失效能。深緩衝和高吞吐能力則確保在流量高峰期間資料流完整性，這對於處理推理工作負載中的大規模資料集至關重要。

邊緣與分散式部署

你會看到，AI 推理正迅速轉向邊緣和分散式部署模式。到 2026 年，IaaS 支出中的 55% 將聚焦於推理工作負載；到 2029 年，這一比例將上升至 65% 以上。你會把推理部署到更靠近使用者的位置，以提升回應速度並降低頻寬成本。邊緣處理還能帶來更高可靠性和更好的資料隱私，尤其適用於連線不穩定的環境。

分散式 AI 部署會採用張量平行、流水線平行等技術，在多張 GPU 之間管理大型模型。解耦式服務架構將運算密集型階段與記憶體受限階段分離，從而提升模型部署的資源利用率。你可以在多個邊緣裝置之間協調任務，減少大量資料傳輸需求，並緩解頻寬挑戰。

• 邊緣部署提升了即時推理的延遲表現與回應速度。

• 分散式 AI 部署支援智慧資料採集，並自動化 AI 生命週期管理。

• 你可以透過在更靠近使用者的地方處理資料來更高效地管理頻寬。

你必須調整伺服器架構，以支援邊緣和分散式部署。這樣才能以低延遲、高吞吐量和高可靠性表現交付即時 AI 推理能力。

AI 基礎設施面臨的挑戰

工作負載波動性

當你大規模部署 AI 推理時，會面臨不可預測的工作負載模式。突發流量和季節性波動會導致成本快速變化。你必須學習新的指標和使用模式，才能更準確地進行預算預測。下表展示了常見挑戰：

你需要調整規劃方式來應對這些不確定性。準確預測有助於避免超支，並確保營運穩定。

靈活性與模組化

你必須建構靈活且模組化的基礎設施，以應對不斷變化的 AI 工作負載。模組化架構允許你獨立擴充各個元件。你可以透過最佳化資料管線來降低延遲並提升分析效率。雲端原生方案提供自動擴縮容和負載平衡能力，讓你能夠快速調整資源。CI/CD 支援 AI 模型的快速部署。安全內建設計可保護敏感資料。監控工具則幫助你追蹤效能並持續最佳化模型。

1. 模組化架構支援元件獨立擴充。

2. 最佳化的資料管線可降低延遲。

3. 雲端原生方案支援動態資源調整。

4. CI/CD 讓模型能夠快速部署。

5. 安全內建設計確保資料隱私。

6. 監控工具提供回饋，支援持續改進。

你會發現，AI 工作負載要求高速輸入和極低延遲。專用作業系統與精細調校的基礎設施可以幫助你管理多樣化需求。靈活性和模組化使你能夠在大量裝置之間編排任務。

AI 伺服器設計的未來

創新趨勢

你將看到，新的創新趨勢正在塑造下一代伺服器設計。高可靠性是最突出的優先事項之一。如今，電感器能夠承受更寬的溫度範圍和更高的負載，這有助於系統平穩運行。工程師也正透過更好的磁屏蔽來減少電磁干擾，從而提升訊號處理品質，並透過低噪音設計讓資料中心環境更加安靜。

現代電源架構也帶來了重大變化。分散式供電架構採用 48V 匯流排，以減少能量損耗並提升效率。多相降壓轉換可為高負載元件供電，同時維持較低能耗。數位電源控制讓你能夠即時監測並最佳化供電。模組化電源則使元件更易更換，從而減少停機時間並提升伺服器持續運行能力。

這些趨勢將幫助你獲得更穩定、更高效、更靈活的 AI 工作負載基礎設施。

為下一代 AI 做準備

你必須讓基礎設施為下一波 AI 與推理需求做好準備。許多組織正在擺脫傳統舊系統，轉向現代運算平台。高效能運算、高效散熱和強安全能力正變得不可或缺。你也可能會選擇本地部署方案，以便讓資料更靠近業務場景並降低延遲。

麥肯錫預測，隨著 AI 工作負載成長，資料中心需求將激增。CIO 回饋稱，舊硬體往往在達到 CPU 極限之前，就已經先遭遇頻寬、供電和散熱瓶頸。你需要解決效能限制、資源約束和成本上升問題。延遲與營運複雜性，也會影響你交付即時推理能力的水準。

為了因應未來，你應該：

1. 升級為可擴充的高效能系統。

2. 投資高能效的供電與散熱方案。

3. 建構靈活、模組化的基礎設施。

4. 重視安全性與資料主權。

這些措施將幫助你因應更複雜的 AI 模型，同時保持營運高效。

你會看到，AI 推理需求正在推動伺服器架構快速創新。為了取得成功，你應該：

1. 理解你的工作負載，並據此量身打造基礎設施。

2. 以靈活性為核心進行設計，並適應不斷變化的需求。

3. 優先建設低延遲、高頻寬的網路。

4. 同時為無狀態和有狀態推理做好規劃。

5. 持續關注 AI 領域的最新進展。

從集中式雲端走向去中心化、端側智慧的趨勢，正在塑造未來的伺服器策略。你必須在多樣化資源之間管理工作負載，在功耗、延遲、隱私、成本和效率之間取得平衡。

常見問題

什麼是 AI 推理？用簡單的話怎麼說？

AI 推理就是使用一個已經訓練好的模型來進行預測或決策。你把新資料輸入給模型，模型再給出結果。比如你上傳一張照片，模型就能辨識出其中的物體。

為什麼 AI 推理需要專用硬體？

你需要專用硬體，是因為 AI 推理要求處理速度快、延遲低。GPU、TPU 和 FPGA 能幫助你同時處理大量任務。這些晶片讓語音助理等即時應用運行得更加流暢。

邊緣運算如何幫助 AI 推理？

邊緣運算讓你能夠在資料產生地附近執行 AI 推理。這樣你可以獲得更快回應，並減少頻寬消耗。這種方式非常適合智慧攝影機、感測器和行動裝置。

AI 推理與 AI 訓練有什麼不同？

AI 訓練是用大量資料來教會模型；推理則發生在訓練完成之後。你使用訓練好的模型快速做出預測。訓練需要更多時間和算力，而推理則更注重速度和效率。

如何讓 AI 推理更節能？

你可以採用高能效晶片、最佳化模型，並在邊緣側處理資料。這些做法能夠降低功耗，並幫助你實現永續發展目標。