PVE虚拟机Debian安装docker配置GPU版大模型工具ollama和open-webui工具一键脚本

配置环境：PVE虚拟机Debian
直通显卡：Proxmox PVE虚拟机配置Debian 12实现NVIDIA显卡直通解决方法http://www.kaixinit.com/linux/pve/9949.html
适用于Debian系统，GPU版大模型工具ollama运行，需要独立显卡，（Ubuntu执行会出现错误），具体操作如下：
分别新建gpu_install.txt脚本文件：

nano gpu_install1.txt
nano gpu_install1.txt

分别执行脚本命令：

sudo sh gpu_install1.txt
sudo sh gpu_install2.txt

以下分别为一键脚本cpu_install.txt内容：
第一部分脚本gpu_install1.txt，安装docker和gpu显卡驱动，docker依赖环境这些换成国内源仓库了，速度快点

#Debian更新软件包升级
sudo apt update
sudo apt update -y

#Docker安装依赖
sudo apt-get update
sudo apt-get install ca-certificates curl gnupg

#Docker的GPG公钥并添加仓库:
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.cernet.edu.cn/docker-ce/linux/debian \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

#Docker的安装
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

#gpu 版本
wget https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y cuda-drivers
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker

第一部分安装完毕后，执行命令：（原来是放在第一部分，但是重启pve虚拟机会假死，手动执行一下）

sudo systemctl restart docker
sudo reboot

第二部分脚本gpu_install2.txt，安装docker版ollama大模型和open-webui工具

#运行docker
sudo docker run --network=bridge -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama ollama/ollama
#加载open-webui
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果下载ollama太慢，先拉取镜像
sudo docker pull ollama/ollama:latest
构建容器ollama
sudo docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama/ollama:latest

如果下载open-webui太慢，先拉取镜像
#拉取镜像open-webui
sudo docker pull dyrnq/open-webui
#构建容器open-webui
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always dyrnq/open-webui:latest

如果在open-webui里面下载不了模型，可进入容器进行下载

sudo docker  ps
sudo docker exec -it 容器ID  bash
ollama pull  qwen
ollama pull llama3
ollama pull qwen:7b