PVE虚拟机Debian安装docker配置GPU版大模型工具ollama和open-webui工具一键脚本

配置环境:PVE虚拟机Debian
直通显卡:Proxmox PVE虚拟机配置Debian 12实现NVIDIA显卡直通解决方法http://www.kaixinit.com/linux/pve/9949.html
适用于Debian系统,GPU版大模型工具ollama运行,需要独立显卡,(Ubuntu执行会出现错误),具体操作如下:
分别新建gpu_install.txt脚本文件:

nano gpu_install1.txt
nano gpu_install1.txt

分别执行脚本命令:

sudo sh gpu_install1.txt
sudo sh gpu_install2.txt

以下分别为一键脚本cpu_install.txt内容:
第一部分脚本gpu_install1.txt,安装docker和gpu显卡驱动,docker依赖环境这些换成国内源仓库了,速度快点

#Debian更新软件包升级
sudo apt update
sudo apt update -y

#Docker安装依赖
sudo apt-get update
sudo apt-get install ca-certificates curl gnupg

#Docker的GPG公钥并添加仓库:
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.cernet.edu.cn/docker-ce/linux/debian \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

#Docker的安装
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

#gpu 版本
wget https://developer.download.nvidia.com/compute/cuda/repos/debian12/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get install -y cuda-drivers
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker

第一部分安装完毕后,执行命令:(原来是放在第一部分,但是重启pve虚拟机会假死,手动执行一下)

sudo systemctl restart docker
sudo reboot

第二部分脚本gpu_install2.txt,安装docker版ollama大模型和open-webui工具

#运行docker
sudo docker run --network=bridge -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama ollama/ollama
#加载open-webui
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果下载ollama太慢,先拉取镜像
sudo docker pull ollama/ollama:latest
构建容器ollama
sudo docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama/ollama:latest
如果下载open-webui太慢,先拉取镜像
#拉取镜像open-webui
sudo docker pull dyrnq/open-webui
#构建容器open-webui
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always dyrnq/open-webui:latest

如果在open-webui里面下载不了模型,可进入容器进行下载

sudo docker  ps
sudo docker exec -it 容器ID  bash
ollama pull  qwen
ollama pull llama3
ollama pull qwen:7b

原创文章,作者:开心电脑网,如若转载,请注明出处。

(0)
上一篇 2024年5月12日
下一篇 2024年5月13日

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注