ubuntu本地模型部署

1. 部署 ollama

# 下载 ollama 工具
curl -fsSL https://ollama.com/install.sh | sh

2. 安装docker

sudo apt-get install docker.io
sudo systemctl start docker
sudo systemctl enable docker
sudo docker --version

3. 安装 Anything LLM

sudo docker pull mintplexlabs/anythingllm

Windows 本地模型部署

下载 Anythingllm

# 网址
https://anythingllm.com/desktop

下载ollama

ollama本身并不是一个llm（大语言模型），而是一个为llm服务的工具，这个工具提供了一个平台和环境，使得可以在本地机器上更便利的部署，测试，运行大预言模型。

# 下载 ollama 网址
https://ollama.com/download
# 下载结束后，已经开始自动运行,查看版本
ollama --version
# 根据电脑性能和需求下载需要的模型
# https://ollama.com/library/deepseek-r1:1.5b
# ollama run deepseek-r1:1.5b 会首先自动下载模型
ollama run deepseek-r1:1.5b