本地部署大模型

ubuntu本地模型部署 1. 部署 ollama # 下载 ollama 工具 curl -fsSL https://ollama.com/install.sh | sh 2. 安装docker sudo apt-get install docker.io sudo systemctl start docker sudo systemctl enable docker sudo docker --version 3. 安装 Anything LLM sudo docker pull mintplexlabs/anythingllm Windows 本地模型部署 下载 Anythingllm # 网址 https://anythingllm.com/desktop 下载ollama ollama本身并不是一个llm（大语言模型），而是一个为llm服务的工具，这个工具提供了一个平台和环境，使得可以在本地机器上更便利的部署，测试，运行大预言模型。 # 下载 ollama 网址 https://ollama.com/download # 下载结束后，已经开始自动运行,查看版本 ollama --version # 根据电脑性能和需求下载需要的模型 # https://ollama.com/library/deepseek-r1:1.5b # ollama run deepseek-r1:1.5b 会首先自动下载模型 ollama run deepseek-r1:1.5b