配置NVIDIA Container Runtime和容器运行GPUStack教程

GPUStack 是一个设计用于运行大模型的开源 GPU 集群管理器，提供私有部署的大模型服务，支持大语言模型、Embedding 文本嵌入模型、Reranker 重排序模型、Vision 多模态模型等各种模型。它可以聚合不同平台（如 Apple Mac、Windows PC 和 Linux 服务器）的 GPU，构建一个统一的异构 GPU 集群。

在 Linux 中十分推荐使用 Docker 方式安装 GPUStack，可以避免很多依赖和冲突问题，简化安装过程。

今天带来一篇关于如何设置 NVIDIA 容器运行时并使用容器方式运行 GPUStack 的操作教程。

前置准备

验证当前环境有 NVIDIA GPU 硬件：

lspci | grep -i nvidia

验证系统已安装 GCC：

gcc --version

安装 NVIDIA 驱动

参考：https://developer.nvidia.com/datacenter-driver-downloads

为当前内核安装内核头文件和开发包：

sudo apt-get install linux-headers-$(uname -r)

安装 cuda-keyring 包：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb

安装 NVIDIA 驱动：

sudo apt-get update
sudo apt-get install nvidia-open -y

重启系统：

sudo reboot

重新登录并检查 nvidia-smi 命令可用：