Ollama Linux 多卡部署 DeepSeek-R1 70B（四卡A6000）

适用：Linux 服务器，4卡GPU环境，实现模型多卡分片推理，CUDA多卡分发

1. 一键安装 Ollama

一键脚本安装（也可使用压缩包手动安装）

bash
展开代码
curl -fsSL [https://ollama.com/install.sh](https://ollama.com/install.sh) | sh

安装完成后 systemd 会自动后台启动 ollama 服务。

验证安装

bash
展开代码
ollama -v

【可选】修改systemd配置，开启四卡分发

执行编辑命令：

bash
展开代码
sudo systemctl edit ollama

在弹出编辑器中粘贴下面配置：

ini
展开代码
[Service]
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="OLLAMA_SCHED_SPREAD=1"

• Ctrl+O 保存
• Ctrl+X 退出

说明：该命令生成override覆盖配置，不会修改原始 ollama.service 文件

重载配置并重启 Ollama 服务

bash
展开代码
sudo systemctl daemon-reload
sudo systemctl restart ollama

⚠️ 重要提醒：已经加载在单卡显存里的模型不会自动重新分片！需要卸载旧模型，重新拉取加载，多卡分片才会生效。

2. 模型卸载命令

⭐ 必须先卸载旧模型，再重新拉取，多卡分片配置才能生效

bash
展开代码
# 删除 deepseek-r1:70b 模型
ollama rm deepseek-r1:70b

补充：

• ollama rm：remove，删除本地模型文件
• 执行后模型文件会从磁盘清除，需要重新 pull 下载

3. 拉取 DeepSeek-R1 70B 模型

默认拉取 GGUF Q4_K_M 版本（约40GB）

bash
展开代码
ollama pull deepseek-r1:70b

可选更高精度版本 Q8_0（75GB，显存压力更大）

bash
展开代码
ollama pull deepseek-r1:70b-q8_0

查看本地已下载模型列表

bash
展开代码
ollama list

4. 运行模型：终端交互式对话

bash
展开代码
ollama run deepseek-r1:70b

进入交互界面后可直接提问。

交互内修改上下文窗口（8k示例）

展开代码
/set parameter num_ctx 8192

退出对话

展开代码
/exit

验证多卡分片是否成功

新开终端执行

bash
展开代码
nvidia-smi

4张A6000显卡均占用显存，代表多卡分片成功。

补充注意事项

1. 修改多卡环境变量并重启ollama后，旧模型缓存必须删除重拉，否则依旧单卡加载。
2. OLLAMA_SCHED_SPREAD=1 开启分片调度，配合CUDA_VISIBLE_DEVICES指定可用显卡。
3. 70B模型对显存容量要求高，Q4_K_M版本40GB，适合A6000多卡拆分推理。