GPU Direct Storage 如何助力 AI 训练

通过使用 GPU Direct Storage，你可以显著加速 AI 训练，因为它能够将数据直接从存储设备传输到 GPU 内存。这种方式消除了 CPU 瓶颈，降低了延迟，并让你能够更高效地处理大规模数据集。最新基准测试显示，写入一个 140 GB 的检查点，所需时间可从数分钟缩短至 45 秒以内，使整体工作流程最高提速达 6 倍。随着 AI 模型、数据集以及推理需求持续增长，你需要具备高吞吐的数据管道，才能跟上不断扩展的计算与存储需求。

AI 训练中的数据瓶颈

CPU 开销与内存拷贝问题

在 AI 训练过程中，你经常会遇到速度下降的问题，因为 CPU 必须负责在存储与 GPU 内存之间搬运数据。这个过程增加了额外步骤，也提升了延迟。当 CPU 负责管理内存拷贝时，它会占用本可用于其他任务的宝贵资源。像 RoCE 这样的技术可以通过让设备直接访问内存来降低 CPU 开销。这种方式能够提升数据传输速率，并提高整体效率。

由此可见，RoCE 能够减少 CPU 的参与并提高吞吐量。这种改变可以帮助你更快地传输数据，并让系统运行得更加顺畅。

对训练性能的影响

数据瓶颈会从多个方面影响你的训练过程。当你不得不等待数据在存储和 GPU 内存之间传输时，就会浪费宝贵时间。随着模型规模越来越大，计算能力与内存带宽之间的差距也在不断扩大。你需要在多个 AI 加速器之间传输更多数据，这会进一步加剧瓶颈并拖慢整个工作流程。

• 数据传输瓶颈会导致内存访问和通信效率下降，从而增加大规模 AI 模型的训练时间。

• AI 计算能力的增长速度（两年内达到 3×）显著快于内存带宽（1.6×）和互连带宽（1.4×）的增长速度。

• 随着 AI 模型不断扩展，在多个 AI 加速器之间进行传输的需求也随之增加，进一步加剧“内存墙”问题，并影响训练效率。

你可以通过解决这些瓶颈来提升训练速度。数据流动越快，你等待的时间就越少，用于训练模型的时间就越多。

GPU Direct Storage 架构

直接数据通路

通过使用 GPU Direct Storage，你可以加快 AI 训练速度。这项技术允许你将数据直接从 NVMe SSD 传输到 GPU 内存，而无需经过 CPU 或系统内存。这条直接通路减少了额外步骤，并降低了延迟。

当你使用 gpudirect storage 时，数据传输会通过 DMA（Direct Memory Access，直接内存访问）引擎完成。DMA 引擎就像一座高速桥梁，能够在存储与 GPU 内存之间传输数据，而无需中途经过 CPU。这个过程节省了时间，也让 CPU 可以腾出资源处理其他任务。

NVMe SSD 在这种架构中扮演着关键角色。它们能够提供高吞吐和低延迟。当你将 NVMe SSD 与 gpudirect storage 搭配使用时，就能获得一条直接、高速的连接通路。这种组合可以帮助你更轻松地处理大规模数据集和复杂模型。

以下是一个简化的数据流过程：

1. 你发起训练数据请求。

2. NVMe SSD 通过 DMA 引擎将数据直接发送到 GPU 内存。

3. GPU 立即开始处理数据。

这种直接通路意味着你花在等待数据上的时间更少，而真正用于训练模型的时间更多。

硬件与软件需求

要使用 gpudirect storage，你需要合适的硬件和软件环境。以下是所需组件：

你必须先确认自己的 GPU 是否支持 gpudirect storage。大多数较新的 NVIDIA GPU 都支持。你还需要 NVMe SSD，因为它们能够提供直接传输所需的速度。DMA 引擎通常已经集成在 GPU 和存储控制器中，因此你无需额外购置硬件。

在软件方面，你需要 Linux 操作系统，同时还需要正确安装相关驱动，例如 CUDA 和 gpudirect storage 驱动。这些驱动能够让你的系统使用这条直接数据通路。

注意：请始终保持驱动和固件为最新版本，这样才能获得最佳性能与兼容性。

当你使用这些组件完成系统配置后，就能够充分释放 GPU Direct Storage 的能力。你可以更快地传输数据、训练更大的模型，并让 AI 工作流程更加高效。

GPU Direct Storage 带来的性能提升

AI 训练中的吞吐提升

你当然希望自己的 AI 训练尽可能快。使用 GPU Direct Storage 后，你可以显著提升数据吞吐能力。这意味着你的系统能够在更短时间内处理更多数据。你不再需要等待 CPU 将数据从存储搬运到 GPU 内存，数据会直接从 NVMe SSD 进入 GPU。这条直接通路能够让训练数据管道始终保持饱满。

在真实场景中，你可以明显看到差异。使用 GPU Direct Storage 后，保存大型检查点的时间可以从数分钟缩短到不到一分钟。这种改进意味着你把更多时间花在训练上，而不是等待数据传输。在持续一周的训练任务中，你甚至可以节省原本会浪费在缓慢数据传输上的数十个小时。

提示：让 GPU 始终有稳定的数据流可处理，能够帮助你最大化硬件投资回报。

更快的检查点保存与模型加载

检查点保存和模型加载是 AI 工作流程中最耗时的两个环节。你经常需要在训练过程中保存模型状态，也需要在开始训练或恢复训练之前，将大型模型加载到 GPU 内存中。如果存储系统跟不上速度，这些步骤就会显著拖慢你的节奏。

当你处理大型模型和大规模数据集时，这种提升会更加明显。每次开始训练时，你都需要将模型权重载入 GPU 内存。如果仍然使用传统存储路径，加载过程就很容易成为瓶颈。而借助 GPU Direct Storage，你可以缩短等待时间，更快开始训练。

注意：加载更快，意味着你可以进行更多实验、尝试更多新想法，并在出现故障后更快恢复。

在分布式训练中，你同样可以受益。当你在多块 GPU 上训练时，每块 GPU 都需要加载各自负责的模型部分。加载速度慢会拖延整个流程。而使用 GPU Direct Storage 后，你可以确保每块 GPU 都能快速拿到所需数据，从而让训练过程保持同步并高效运行。

实际应用场景与部署方式

配置 GPU Direct Storage

你可以按照几个清晰的步骤，在 AI 管道中配置 GPU Direct Storage。首先，确认系统已经加载 nvidia-fs 模块。你可以使用命令 lsmod | grep nvidia_fs 进行检查。接下来，创建名为 /etc/cufile.json 的配置文件，并将 allow_compat_mode 选项设置为 false。这样可以避免回退到 CPU 路径，从而保持数据通路为直连模式。然后，使用系统包管理器安装 GDS 内核模块。在 Ubuntu 上，使用 apt-get install -y nvidia-fs-dkms；在 RHEL 上，使用 yum install -y nvidia-fs-dkms。安装完成后，重启系统，或者通过 modprobe nvidia-fs 手动加载模块。最后，再次使用 lsmod | grep nvidia_fs 确认模块已成功启用。

提示：始终保持驱动和固件更新，以获得最佳效果。

检查点卸载与模型加载

你可以使用 GPU Direct Storage 来加速训练过程中的检查点卸载与模型加载。当你保存检查点时，数据会直接从 GPU 内存写入 NVMe SSD。这条直接通路意味着你无需等待 CPU 进行数据拷贝。如果你频繁执行检查点操作，那么在一周的训练周期中就能节省大量时间。大型模型的加载也会快得多，因为模型权重可以直接进入 GPU 内存，从而帮助你更快开始或恢复训练。这种方式也能让你在任务中断后迅速恢复，并更高频率地进行实验。

注意：快速的检查点处理能够让你的训练流程更安全，也更高效。

使用 GPU Direct Storage 后，你将获得更快的训练速度、更高效的推理能力以及更强的可扩展性能。你可以减少 GPU 空闲时间，并降低 AI 基础设施的运营成本。你能够建立直接数据通路，并让 GPU 在稳定的推理负载下持续保持繁忙。行业专家指出，GDS 支持高吞吐的多 GPU 集群。你还可以看到一些未来趋势，例如 NVMe SSD 的进一步普及、边缘推理的发展，以及 AI 驱动的存储工具不断成熟。你应该评估自身环境，并考虑采用 GPU Direct Storage，以提升推理速度与整体效率。

• NVMe SSD 有助于消除推理过程中的瓶颈。

• AI 驱动工具能够提升推理场景下的存储监控能力。

• 边缘推理可从实时数据访问中获益。

常见问题

什么是 GPU Direct Storage？

GPU Direct Storage 允许你将数据直接从 NVMe SSD 传输到 GPU 内存。你可以跳过 CPU 和系统内存。这条直接通路能够加快数据传输，并降低延迟。

GPU Direct Storage 如何提升 AI 训练？

通过更快地传输数据，你可以让 GPU 持续保持繁忙状态。你能够避免 CPU 瓶颈并减少等待时间。这有助于你训练更大的模型，并以更少延迟处理更大的数据集。

我可以将 GPU Direct Storage 用于推理负载吗？

• 可以，你可以将 GPU Direct Storage 用于推理。

• 你将获得更快的数据访问速度和更低的延迟。

• 这种方式非常适合实时 AI 和边缘 AI 应用。