NVIDIA Container Toolkit方案介绍

NVIDIA Container Toolkit 是一个工具集，它允许在 Docker 或其他容器运行时（如 containerd, Podman）中轻松地运行支持 GPU 加速的容器。它本质上是容器运行时和主机上的 NVIDIA GPU 驱动程序之间的“桥梁”。

无缝体验： 使用简单的命令行标志（如 --gpus all）即可启用 GPU 支持，无需复杂的挂载命令。

环境一致性： 确保容器内的 CUDA 等环境与主机驱动兼容，避免了版本冲突问题。

安全隔离： 仍然遵循容器的安全模型，可以对容器可访问的 GPU 设备进行精细控制（例如，指定使用哪几块 GPU）。

生态兼容： 不仅支持 Docker，还支持 containerd、Podman、Kubernetes 等主流容器生态系统。

广泛适用： 是所有基于 NVIDIA GPU 的容器应用（如深度学习训练、推理、科学计算、图形渲染）的基础依赖。

重要

1. 请确保您已经成功安装了驱动，可以参考此处
2. 需要使用科学上网环境或自行配置全局代理

一、添加 NVIDIA Container Toolkit 仓库的 GPG 密钥和包源：

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

二、更新软件包列表并安装 NVIDIA Container Toolkit：

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

三、 【按需】将 Docker 配置为默认使用 NVIDIA 运行时：

sudo nvidia-ctk runtime configure --runtime=docker