PVE虚拟机Debian安装docker配置CPU版大模型工具ollama和open-webui工具一键脚本

配置环境:PVE虚拟机Debian
适用于Debian系统,CPU版大模型工具ollama运行,不需要独立显卡,(Ubuntu执行会出现错误),具体操作如下:
新建cpu_install.txt脚本文件:

nano cpu_install.txt

执行脚本命令:

sudo sh cpu_install.txt

以下为一键脚本cpu_install.txt内容:

#Debian更新软件包升级
sudo apt update
sudo apt update -y

#Docker安装依赖
sudo apt-get update
sudo apt-get install ca-certificates curl gnupg

#Docker的GPG公钥并添加仓库:
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.cernet.edu.cn/docker-ce/linux/debian \
  "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

#Docker的安装
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin


#cpu 版本
sudo  docker run --network=bridge -d -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama ollama/ollama

#拉取镜像open-webui
sudo docker pull dyrnq/open-webui
#构建容器open-webui
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always dyrnq/open-webui:latest
如果下载ollama太慢,先拉取镜像
sudo docker pull ollama/ollama:latest
构建容器ollama
sudo  docker run --network=bridge -d -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama ollama/ollama
不知道是不是网卡的原因,增加了--network=bridge,如果网卡没啥问题,可以去掉network=bridge,可以直接输入:
sudo  docker run -d -v ollama:/root/.ollama -p 11434:11434 --restart=always --name ollama ollama/ollama
上述是先拉取镜像在构建容器,要是直接部署:
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果在open-webui里面下载不了模型,可进入容器进行下载,如何第一下下载不下来,可以多尝试几次下载

sudo docker  ps
sudo docker exec -it 容器ID  bash
ollama pull  qwen
ollama pull llama3
ollama pull qwen:7b

PVE虚拟机Debian安装docker配置CPU版大模型工具ollama和open-webui工具一键脚本
open-webui访问IP:3000,输入注册ID和PWD和mail即可登陆,在模型→从ollama.com拉取一个模型
llama3模型:从ollama.com拉取一个模型→输入 llama3→点击下载图标即可等待完成。
qwen:7b模型:从ollama.com拉取一个模型→输入 qwen:7b→点击下载图标即可等待完成。
PVE虚拟机Debian安装docker配置CPU版大模型工具ollama和open-webui工具一键脚本
PVE虚拟机Debian安装docker配置CPU版大模型工具ollama和open-webui工具一键脚本
模型下载完成,记得刷新一下
PVE虚拟机Debian安装docker配置CPU版大模型工具ollama和open-webui工具一键脚本

原创文章,作者:开心电脑网,如若转载,请注明出处。

(2)
上一篇 2024年5月13日
下一篇 2024年3月25日

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注