Proxmox PVE虚拟机配置Debian 12实现NVIDIA显卡直通解决方法

一、PVE创建虚拟机界面如下，具体配置如下：
常规：默认即可
操作系统：存储local（pve）→ISO镜像→上传debian-12.5.0-amd64-DVD-1.iso镜像，在使用CD/DVD光盘镜像文件（ISO），ISO镜像下拉选择该镜像文件
系统：机型→q35，其他默认
磁盘：磁盘大小（GiB）建议设置为60G
CPU：核心输入数字 4，类别：host，其他默认
内存：内存（MiB）输入 8192，即为8g，根据实际情况设置
网络：默认
确认：如下图配置参数
备注：系统安装完毕建议移除CD/DVD光盘镜镜像文件

二、添加pic显卡设备
右下角勾选√ 高级：硬件→添加pci设备→原始设备→找到显卡比如1070如下图→pci-express 勾选 √→添加完成


以上虚拟机配置好之后，就可以安装系统，更新仓库源，系统安装参考本站文章：
Proxmox PVE虚拟机配置安装Debian 12服务器系统教程：http://www.kaixinit.com/linux/debian/9675.html
Debian 12更换国内软件仓库更新源方法：http://www.kaixinit.com/linux/debian/9670.html
安装curl

sudo  apt install -y  curl

三、安装NVIDIA显卡驱动,安装完之后重启系统

sudo wget https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y cuda-drivers

查看当前系统的GPU状态、显存使用情况、GPU温度、功耗等信息，命令如下：

nvidia-smi

如下图，查到显卡系统，说明显卡直通成功

以下为安装ai大语言模型脚本：（参考）
首先安装docker

sudo apt update
sudo apt update -y

#docker安装
# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

docker安装中文图形界面，IP+端口号9000就是访问地址

sudo docker run -d \
--name=portainer-zh \
-p 9000:9000 \
-v /var/run/docker.sock:/var/run/docker.sock \
--restart=always \
6053537/portainer-ce

安装GPU驱动，如上述二已经安装，可以忽略该步骤

wget https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y cuda-drivers

配置GPU环境

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
sudo reboot

安装ollama

拉取镜像构建容器，开机自启动
sudo  docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama ollama/ollama
如果拉取太慢，换个国内源拉取镜像
sudo docker pull ollama/ollama:latest
构建容器
sudo docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama/ollama:latest

安装webui

sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果拉取太慢，换个国内源拉取镜像

拉取镜像
sudo docker pull dyrnq/open-webui
构建容器
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always dyrnq/open-webui:latest

容器启动后，通过IP+3000即可访问open webui的web界面
设置中文界面

拉取模型，比如1070的显卡，可以增加模型：

llama3
qwen:7b

如果模型拉取慢，可以进去ollama容器内进行拉取模型

sudo docker  ps
sudo docker exec -it c3dadb65febe bash
ollama pull llama3
ollama pull qwen:7b

NVIDIA大语言模型体验馆：https://build.nvidia.com/explore/discover