GPU Direct Storage 如何助力 AI 訓練

透過使用 GPU Direct Storage，你可以顯著加速 AI 訓練sample word，因為它能夠將資料直接從儲存裝置傳輸到 GPU 記憶體。這種方式消除了 CPU 瓶頸，降低了延遲，並讓你能夠更有效率地處理大規模資料集。最新基準測試顯示，寫入一個 140 GB 的檢查點，所需時間可從數分鐘縮短至 45 秒以內，使整體工作流程最高提速達 6 倍。隨著 AI 模型、資料集以及推論需求持續成長，你需要具備高吞吐的資料管線，才能跟上不斷擴展的運算與儲存需求。

AI 訓練中的資料瓶頸

CPU 開銷與記憶體複製問題

在 AI 訓練過程中，你經常會遇到速度下降的問題，因為 CPU 必須負責在儲存與 GPU 記憶體之間搬運資料。這個過程增加了額外步驟，也提高了延遲。當 CPU 負責管理記憶體複製時，它會占用本可用於其他任務的寶貴資源。像 RoCE 這樣的技術可以透過讓裝置直接存取記憶體來降低 CPU 開銷。這種方式能夠提升資料傳輸速率，並提高整體效率。

由此可見，RoCE 能夠減少 CPU 的參與並提高吞吐量。這種改變可以幫助你更快地傳輸資料，並讓系統運行得更加順暢。

對訓練效能的影響

資料瓶頸會從多個方面影響你的訓練過程。當你不得不等待資料在儲存和 GPU 記憶體之間傳輸時，就會浪費寶貴時間。隨著模型規模越來越大，運算能力與記憶體頻寬之間的差距也在不斷擴大。你需要在多個 AI 加速器之間傳輸更多資料，這會進一步加劇瓶頸並拖慢整個工作流程。

• 資料傳輸瓶頸會導致記憶體存取和通訊效率下降，從而增加大規模 AI 模型的訓練時間。

• AI 運算能力的成長速度（兩年內達到 3×）顯著快於記憶體頻寬（1.6×）和互連頻寬（1.4×）的成長速度。

• 隨著 AI 模型持續擴展，在多個 AI 加速器之間進行傳輸的需求也隨之增加，進一步加劇「記憶體牆」問題，並影響訓練效率。

你可以透過解決這些瓶頸來提升訓練速度。資料流動越快，你等待的時間就越少，用於訓練模型的時間就越多。

GPU Direct Storage 架構

直接資料通路

透過使用 GPU Direct Storage，你可以加快 AI 訓練速度。這項技術允許你將資料直接從 NVMe SSD 傳輸到 GPU 記憶體，而無需經過 CPU 或系統記憶體。這條直接通路減少了額外步驟，並降低了延遲。

當你使用 gpudirect storage 時，資料傳輸會透過 DMA（Direct Memory Access，直接記憶體存取）引擎完成。DMA 引擎就像一座高速橋梁，能夠在儲存與 GPU 記憶體之間傳輸資料，而無需中途經過 CPU。這個過程節省了時間，也讓 CPU 可以騰出資源處理其他任務。

NVMe SSD 在這種架構中扮演著關鍵角色。它們能夠提供高吞吐和低延遲。當你將 NVMe SSD 與 gpudirect storage 搭配使用時，就能獲得一條直接、高速的連接通路。這種組合可以幫助你更輕鬆地處理大規模資料集和複雜模型。

以下是一個簡化的資料流過程：

1. 你發起訓練資料請求。

2. NVMe SSD 透過 DMA 引擎將資料直接發送到 GPU 記憶體。

3. GPU 立即開始處理資料。

這種直接通路意味著你花在等待資料上的時間更少，而真正用於訓練模型的時間更多。

硬體與軟體需求

要使用 gpudirect storage，你需要合適的硬體與軟體環境。以下是所需元件：

你必須先確認自己的 GPU 是否支援 gpudirect storage。大多數較新的 NVIDIA GPU 都支援。你還需要 NVMe SSD，因為它們能夠提供直接傳輸所需的速度。DMA 引擎通常已經整合在 GPU 和儲存控制器中，因此你無需額外購置硬體。

在軟體方面，你需要 Linux 作業系統，同時還需要正確安裝相關驅動程式，例如 CUDA 和 gpudirect storage 驅動程式。這些驅動程式能夠讓你的系統使用這條直接資料通路。

注意：請始終保持驅動程式與韌體為最新版本，這樣才能獲得最佳效能與相容性。

當你使用這些元件完成系統配置後，就能夠充分釋放 GPU Direct Storage 的能力。你可以更快地傳輸資料、訓練更大的模型，並讓 AI 工作流程更加高效。

GPU Direct Storage 帶來的效能提升

AI 訓練中的吞吐提升

你當然希望自己的 AI 訓練盡可能快。使用 GPU Direct Storage 後，你可以顯著提升資料吞吐能力。這意味著你的系統能夠在更短時間內處理更多資料。你不再需要等待 CPU 將資料從儲存搬運到 GPU 記憶體，資料會直接從 NVMe SSD 進入 GPU。這條直接通路能夠讓訓練資料管線始終保持飽滿。

在真實場景中，你可以明顯看到差異。使用 GPU Direct Storage 後，儲存大型檢查點的時間可以從數分鐘縮短到不到一分鐘。這種改進意味著你把更多時間花在訓練上，而不是等待資料傳輸。在持續一週的訓練任務中，你甚至可以節省原本會浪費在緩慢資料傳輸上的數十個小時。

提示：讓 GPU 始終有穩定的資料流可處理，能夠幫助你最大化硬體投資報酬。

更快的檢查點儲存與模型載入

檢查點儲存和模型載入是 AI 工作流程中最耗時的兩個環節。你經常需要在訓練過程中儲存模型狀態，也需要在開始訓練或恢復訓練之前，將大型模型載入到 GPU 記憶體中。如果儲存系統跟不上速度，這些步驟就會顯著拖慢你的節奏。

當你處理大型模型和大規模資料集時，這種提升會更加明顯。每次開始訓練時，你都需要將模型權重載入 GPU 記憶體。如果仍然使用傳統儲存路徑，載入過程就很容易成為瓶頸。而藉由 GPU Direct Storage，你可以縮短等待時間，更快開始訓練。

注意：載入更快，意味著你可以進行更多實驗、嘗試更多新想法，並在發生故障後更快恢復。

在分散式訓練中，你同樣可以受益。當你在多張 GPU 上訓練時，每張 GPU 都需要載入各自負責的模型部分。載入速度慢會拖延整個流程。而使用 GPU Direct Storage 後，你可以確保每張 GPU 都能快速取得所需資料，從而讓訓練過程保持同步並高效運行。

實際應用場景與部署方式

設定 GPU Direct Storage

你可以按照幾個清晰的步驟，在 AI 管線中設定 GPU Direct Storage。首先，確認系統已經載入 nvidia-fs 模組。你可以使用指令 lsmod | grep nvidia_fs 進行檢查。接下來，建立名為 /etc/cufile.json 的設定檔，並將 allow_compat_mode 選項設為 false。這樣可以避免回退到 CPU 路徑，從而保持資料通路為直連模式。然後，使用系統套件管理器安裝 GDS 核心模組。在 Ubuntu 上，使用 apt-get install -y nvidia-fs-dkms；在 RHEL 上，使用 yum install -y nvidia-fs-dkms。安裝完成後，重新啟動系統，或者透過 modprobe nvidia-fs 手動載入模組。最後，再次使用 lsmod | grep nvidia_fs 確認模組已成功啟用。

提示：始終保持驅動程式與韌體更新，以獲得最佳效果。

檢查點卸載與模型載入

你可以使用 GPU Direct Storage 來加速訓練過程中的檢查點卸載與模型載入。當你儲存檢查點時，資料會直接從 GPU 記憶體寫入 NVMe SSD。這條直接通路意味著你無需等待 CPU 進行資料複製。如果你頻繁執行檢查點操作，那麼在一週的訓練週期中就能節省大量時間。大型模型的載入也會快得多，因為模型權重可以直接進入 GPU 記憶體，從而幫助你更快開始或恢復訓練。這種方式也能讓你在任務中斷後迅速恢復，並更高頻率地進行實驗。

注意：快速的檢查點處理能夠讓你的訓練流程更安全，也更有效率。

使用 GPU Direct Storage 後，你將獲得更快的訓練速度、更高效的推論能力以及更強的可擴展效能。你可以減少 GPU 閒置時間，並降低 AI 基礎設施的營運成本。你能夠建立直接資料通路，並讓 GPU 在穩定的推論負載下持續保持忙碌。業界專家指出，GDS 支援高吞吐的多 GPU 叢集。你還可以看到一些未來趨勢，例如 NVMe SSD 的進一步普及、邊緣推論的發展，以及 AI 驅動的儲存工具不斷成熟。你應該評估自身環境，並考慮採用 GPU Direct Storage，以提升推論速度與整體效率。

• NVMe SSD 有助於消除推論過程中的瓶頸。

• AI 驅動工具能夠提升推論場景下的儲存監控能力。

• 邊緣推論可從即時資料存取中受益。

常見問題

什麼是 GPU Direct Storage？

GPU Direct Storage 允許你將資料直接從 NVMe SSD 傳輸到 GPU 記憶體。你可以跳過 CPU 和系統記憶體。這條直接通路能夠加快資料傳輸，並降低延遲。

GPU Direct Storage 如何提升 AI 訓練？

透過更快地傳輸資料，你可以讓 GPU 持續保持忙碌狀態。你能夠避免 CPU 瓶頸並減少等待時間。這有助於你訓練更大的模型，並以更少延遲處理更大的資料集。

我可以將 GPU Direct Storage 用於推論負載嗎？

• 可以，你可以將 GPU Direct Storage 用於推論。

• 你將獲得更快的資料存取速度和更低的延遲。

• 這種方式非常適合即時 AI 和邊緣 AI 應用。