部分文章的图片会出现关于CSDN的水印，如：CSDN @ZZZCY2003

那是我的CSDN账号，因为搭建个人博客所以将CSDN上的文章进行迁移过来，但是图片水印并没有清除

![image.png](/static/img/csdn_ZZZCY2003.png)

文章说明

> **文档版本**：2026-10-31  
> **适用场景**：RTX PRO 6000 Blackwell（96G）+ WSL2 + vLLM 0.31.0 基线部署  
> **模型格式**：NVFP4（compressed-tensors 量化，**非 BF16 / AWQ / GPTQ**）

---

## 一、环境说明与前置要求

### 1.1 环境概览

| 组件 | 版本 / 说明 |
|------|-------------|
| 宿主机系统 | Windows 10 / 11（64 位） |
| 虚拟化 | WSL2（**严禁使用 WSL1**） |
| GPU | NVIDIA RTX PRO 6000 Blackwell（96G，支持 NVFP4） |
| WSL 发行版 | Ubuntu 22.04 |
| 推理框架 | vLLM 0.31.0（基线，MTP 有 bug） |
| 备选框架 | SGLang（推荐用于 MTP 高吞吐场景） |
| 关键依赖 | FlashInfer 0.7.0.post1、CUDA 13.0、NVIDIA WSL 驱动 |

### 1.2 前置硬性要求

1. Windows 已安装 **NVIDIA 显卡驱动**（WSL 内 **不装** CUDA 驱动，直接继承宿主机驱动）
2. 显卡为 **Blackwell 架构**，支持 NVFP4 指令
3. 已启用 WSL2 和虚拟机平台功能

---

## 二、Windows 宿主机准备

### 2.1 启用 WSL2 与虚拟机平台

以 **管理员身份** 打开 PowerShell：

```powershell
# 启用 WSL 功能
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

# 启用虚拟机平台（WSL2 必需）
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
```

> 执行完毕后 **必须重启电脑**。

重启后检查：
> 控制面板 → 程序 → 启用或关闭 Windows 功能 → 确认【虚拟机平台】【适用于 Linux 的 Windows 子系统】已勾选。

### 2.2 安装 WSL2 与设置默认版本

```powershell
# 安装 WSL（若已安装可跳过）
wsl --install

# 设置默认版本为 WSL2
wsl --set-default-version 2
```

> **国内用户建议**：若网络不稳定，使用离线安装包（百度网盘等）导入，避免下载中断。
> 通过网盘分享的文件：wsl应用
链接: https://pan.baidu.com/s/1nARxIJL06TkjcPB_hM7TvQ?pwd=tyq1 提取码: tyq1 
--来自百度网盘超级会员v4的分享

### 2.3 安装 NVIDIA Windows 驱动

1. 前往 NVIDIA 官网下载对应显卡的 **Windows 驱动**
2. **仅安装显卡驱动，不要安装 CUDA Toolkit**
3. 安装完成后，进入 WSL 执行 `nvidia-smi` 验证

### 2.4 安装 Ubuntu 22.04

#### 方式一：在线安装（推荐有代理环境）

```powershell
wsl --install -d Ubuntu-22.04
```

#### 方式二：离线导入（国内推荐）

```powershell
# 语法：wsl --import <系统名> <安装目录> <镜像路径>
wsl --import Ubuntu22.04 "D:\Ubuntu22.04" "C:\Users\Administrator\Downloads\ubuntu-22.04.5-wsl-amd64.tar"
```

---

## 三、WSL Ubuntu 22.04 初始配置

### 3.1 首次进入与创建普通用户

```powershell
wsl -d Ubuntu22.04
```

进入后提示符为 `root@xxx:/#`，执行以下命令创建用户（将 `yourname` 替换为实际用户名）：

```bash
# 创建用户并加入 sudo 组
adduser test
usermod -aG sudo test

# 设置 WSL 默认登录用户
echo -e "[user]\ndefault=test" >> /etc/wsl.conf

# 设置 sudo 免密（可选）
echo "test ALL=(ALL) NOPASSWD:ALL" > /etc/sudoers.d/test
chmod 0440 /etc/sudoers.d/test
```

退出并重启 WSL：

```bash
exit
```

```powershell
wsl --shutdown
wsl -d Ubuntu22.04
```

再次进入后应以普通用户自动登录。

### 3.2 更换 apt 软件源（清华源）

```bash
# 备份原源
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak

# 写入清华源
sudo tee /etc/apt/sources.list << 'EOF'
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse
EOF

# 更新
sudo apt update && sudo apt upgrade -y
```

### 3.3 启用 systemd（推荐）

```bash
sudo tee -a /etc/wsl.conf << 'EOF'

[boot]
systemd=true
EOF
```

退出后在 PowerShell 中重启：

```powershell
wsl --shutdown
wsl -d Ubuntu22.04
```

验证：

```bash
systemctl status
```

### 3.4 查看 WSL 列表与启动

```powershell
# 查看列表
wsl --list -v

# 启动指定发行版
wsl -d Ubuntu-22.04
```


## 四、WSL 内基础环境与 CUDA 安装

### 4.1 安装基础工具链

```bash
sudo apt install -y build-essential git python3 python3-venv python3-pip curl wget
```

### 4.2 安装 CUDA 13.0（WSL 版本）

> 从 NVIDIA 官网下载 **CUDA 13.0 for WSL-Ubuntu** 的 `.run` 文件。

```bash
sudo chmod +x cuda_13.0.0_580.65.06_linux.run
sudo ./cuda_13.0.0_580.65.06_linux.run
```

### 4.3 验证 GPU 直通

```bash
nvidia-smi
```

> 应能看到 RTX PRO 6000 Blackwell，CUDA Version 显示 12.x（WSL 继承 Windows 驱动版本）。

### 4.4 安装 uv（Python 包管理器）

```bash
curl -LsSf https://astral.sh/uv/install.sh | sh
source $HOME/.bashrc
```

### 4.5 创建独立虚拟环境

```bash
cd ~
uv venv vllm-env
source vllm-env/bin/activate
```

> 激活后命令行前缀显示 `(vllm-env)`。

---

## 五、安装核心依赖：FlashInfer + vLLM

### 5.1 安装 vLLM 0.31.0

```bash
uv pip install vllm==0.31.0 --index-url https://pypi.tuna.tsinghua.edu.cn/simple
```

### 5.2 验证 FlashInfer

```bash
uv pip show flashinfer-python
python -c "import flashinfer; print(flashinfer.__version__)"
# 预期输出：0.7.0.post1
```

### 5.3 vLLM 0.31.0 已知限制

| 问题 | 说明 |
|------|------|
| MTP 加载本地模型 | `--speculative-config` 指定本地绝对路径会触发 `HFValidationError` |
| 仅支持单 token 解码 | 无法启用 Qwen3.8 MTP，吞吐受限（基线约 391 tok/s） |
| 替代方案 | 如需 MTP 高吞吐，请改用 **SGLang** |

---

## 六、模型准备：Qwen3.8-27B-NVFP4

> **必须是 NVFP4 + compressed-tensors 格式**，BF16/AWQ/GPTQ 不可直接使用此启动参数。

目标路径：`/home/wdwc/Qwen3.8-27B-NVFP4`

### 6.1 方式 A：从 Windows 磁盘拷贝（推荐）

```bash
# WSL 可直接访问 Windows 磁盘
cp -r /mnt/d/模型/Qwen3.8-27B-NVFP4 ~/
```

> **禁止直接在 `/mnt/d` 下加载模型**，NTFS IO 性能极差，必须复制到 WSL ext4 目录。

### 6.2 方式 B：ModelScope 下载

```bash
pip install modelscope
modelscope download --model unsloth/Qwen3.8-27B-NVFP4 --local_dir /home/wdwc/Qwen3.8-27B-NVFP4
```

### 6.3 校验模型文件

```bash
ls ~/Qwen3.8-27B-NVFP4
# 应包含：config.json、model-*.safetensors、tokenizer*、quantization_config.json 等
```

---

## 七、启动 vLLM 推理服务（基线版，无 MTP）

```bash
source ~/vllm-env/bin/activate
export HF_HUB_OFFLINE=1
export TRANSFORMERS_OFFLINE=1

vllm serve /home/wdwc/Qwen3.8-27B-NVFP4 \
  --host 0.0.0.0 \
  --port 8000 \
  --trust-remote-code \
  --served-model-name Qwen3.8-27B \
  --quantization compressed-tensors \
  --kv-cache-dtype fp8 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.90
```

### 参数说明

| 参数 | 说明 |
|------|------|
| `--host 0.0.0.0` | 允许 Windows 宿主机访问 |
| `--served-model-name` | API 请求中使用的模型名称 |
| `--quantization compressed-tensors` | NVFP4 量化必需 |
| `--kv-cache-dtype fp8` | 节省显存，提升并发 |
| `--max-model-len 32768` | 最大上下文 32k |
| `--gpu-memory-utilization 0.90` | 显存占用上限 |

> 首次启动会 JIT 编译 FlashInfer 内核，耗时较长，请耐心等待。

**成功标志**：日志输出 `Uvicorn running on http://0.0.0.0:8000`

---

## 八、测试对话

新开 WSL 终端，激活环境：

```bash
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.8-27B",
    "messages": [
      {"role": "user", "content": "用一句话介绍 Qwen3.8-27B-NVFP4"}
    ],
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.95,
    "chat_template_kwargs": {"enable_thinking": false}
  }'
```

---

## 九、vLLM Bench Serve 压测

保持服务运行，新开终端：

```bash
vllm bench serve \
  --backend openai-chat \
  --base-url http://localhost:8000 \
  --endpoint /v1/chat/completions \
  --model Qwen3.8-27B \
  --tokenizer /home/wdwc/Qwen3.8-27B-NVFP4 \
  --dataset-name random \
  --random-input-len 1024 \
  --random-output-len 256 \
  --num-prompts 64 \
  --max-concurrency 1 \
  --temperature 0 \
  --ignore-eos
```

### 压测参数说明

| 参数 | 说明 |
|------|------|
| `--max-concurrency` | 并发数，建议阶梯测试：4 / 8 / 16 / 24 |
| `--request-rate inf` | 尽可能发送请求，打满并发 |
| `--ignore-eos` | 强制生成指定长度，排除结束符干扰 |
| `--save-result` | 保存 JSON 结果文件 |

### 核心指标

| 指标 | 含义 |
|------|------|
| Output token throughput | 输出 token 吞吐（核心） |
| Mean TTFT | 首 token 延迟（用户感知） |
| Mean TPOT | 单 token 生成延迟 |

---

## 十、Windows 宿主机访问 WSL 服务

WSL 监听 `0.0.0.0:8000`，Windows 可通过以下方式访问：

1. **方式一**：`http://localhost:8000`（WSL 自动端口转发，大部分场景可用）
2. **方式二**：使用 WSL IP 访问

```bash
# WSL 内查看 IP
hostname -I
```

Windows 端使用 Postman / 前端 / 代码直接调用 `http://<WSL_IP>:8000/v1/chat/completions`

---

## 十一、常见问题与注意事项

| 问题 | 解决方案 |
|------|----------|
| `nvidia-smi` 不可用 | 确认 Windows 驱动已安装，WSL 内无需单独装驱动 |
| 模型加载极慢 | 确保模型在 WSL ext4 目录，而非 `/mnt/` 下 |
| FlashInfer 版本不匹配 | 强制安装 `flashinfer-python==0.7.0.post1` |
| MTP 启动报错 | vLLM 0.31.0 已知 bug，换 SGLang 或等待修复 |
| 端口无法访问 | 检查 Windows 防火墙，或直接使用 WSL IP |

---


Windows+WSL2+Ubuntu 22.04 部署 Qwen3.8-27B-NVFP4

KMS 激活完全指南：用 slmgr 命令激活 Windows 系统与 Office

# Ollama Linux 多卡部署 DeepSeek-R1 70B（四卡A6000）
> 适用：Linux 服务器，4卡GPU环境，实现模型多卡分片推理，CUDA多卡分发

## 1. 一键安装 Ollama
一键脚本安装（也可使用压缩包手动安装）
```bash
curl -fsSL [https://ollama.com/install.sh](https://ollama.com/install.sh) | sh
```
安装完成后 systemd 会自动后台启动 ollama 服务。

### 验证安装
```bash
ollama -v
```

### 【可选】修改systemd配置，开启四卡分发
执行编辑命令：
```bash
sudo systemctl edit ollama
```
在弹出编辑器中粘贴下面配置：
```ini
[Service]
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="OLLAMA_SCHED_SPREAD=1"
```
- `Ctrl+O` 保存
- `Ctrl+X` 退出

> 说明：该命令生成override覆盖配置，**不会修改原始 ollama.service 文件**

### 重载配置并重启 Ollama 服务
```bash
sudo systemctl daemon-reload
sudo systemctl restart ollama
```
> ⚠️ 重要提醒：已经加载在单卡显存里的模型**不会自动重新分片**！需要卸载旧模型，重新拉取加载，多卡分片才会生效。

## 2. 模型卸载命令
> ⭐ 必须先卸载旧模型，再重新拉取，多卡分片配置才能生效
```bash
# 删除 deepseek-r1:70b 模型
ollama rm deepseek-r1:70b
```
> 补充：
> - `ollama rm`：remove，删除本地模型文件
> - 执行后模型文件会从磁盘清除，需要重新 pull 下载

## 3. 拉取 DeepSeek-R1 70B 模型
默认拉取 GGUF Q4_K_M 版本（约40GB）
```bash
ollama pull deepseek-r1:70b
```
可选更高精度版本 Q8_0（75GB，显存压力更大）
```bash
ollama pull deepseek-r1:70b-q8_0
```

查看本地已下载模型列表
```bash
ollama list
```

## 4. 运行模型：终端交互式对话
```bash
ollama run deepseek-r1:70b
```
进入交互界面后可直接提问。

### 交互内修改上下文窗口（8k示例）
```
/set parameter num_ctx 8192
```

### 退出对话
```
/exit
```

### 验证多卡分片是否成功
新开终端执行
```bash
nvidia-smi
```
**4张A6000显卡均占用显存，代表多卡分片成功。**

---

## 补充注意事项
1. 修改多卡环境变量并重启ollama后，**旧模型缓存必须删除重拉**，否则依旧单卡加载。
2. `OLLAMA_SCHED_SPREAD=1` 开启分片调度，配合CUDA_VISIBLE_DEVICES指定可用显卡。
3. 70B模型对显存容量要求高，Q4_K_M版本40GB，适合A6000多卡拆分推理。


ollama部署模型

# 修复Let’s Encrypt证书过期并配置自动续期
> 环境：Ubuntu + Nginx + Certbot，域名：`www.zheng‑chang‑ren.xyz`，原证书已过期

## 现象
访问网站浏览器提示**连接不是私密连接**，证书过期。
查看旧证书信息：
- 域名：`www.zheng‑chang‑ren.xyz`
- 颁发机构：Let’s Encrypt YR1
- 到期时间：`2026‑09‑13`，已经过期。

![](/static/img/HTTPS更新证书/ScreenShot_2026-10-02_143746_193.png)

尝试执行模拟续期命令，一开始报连接超时错误：
```bash
sudo certbot renew --dry-run
```

报错关键信息：
```
Timeout during connect (likely firewall problem)
```

![](/static/img/HTTPS更新证书/ScreenShot_2026-10-02_144739_676.png)

> 原因：Let’s Encrypt 的 HTTP‑01 域名验证方式，**需要公网可以访问服务器80端口**，安全组/防火墙拦截80端口会直接验证失败。

## 排查修复
### 1. 检查云服务器安全组（阿里云ECS）
入方向放行 `TCP 80`，来源 `0.0.0.0/0`。
> 注意：很多人只开放443(HTTPS)，关闭80会导致certbot续期失败。

### 2. 检查本机防火墙ufw
```bash
sudo ufw status
# 如果开启防火墙，放行80端口
sudo ufw allow 80/tcp
sudo ufw reload
```

### 3. 检查Nginx状态
```bash
sudo nginx -t
sudo systemctl status nginx
```
确保 Nginx 配置无错误、服务正常运行。

### 4. 再次执行模拟续期（dry‑run）
`--dry-run` 只是模拟流程，**不会真正签发证书**，用来提前排查问题。
```bash
sudo certbot renew --dry-run
```

出现下面代表模拟全部成功：
```
Congratulations, all simulated renewals succeeded
```

## 执行真正证书更新
模拟测试通过后，执行真实续期，生成新证书：
```bash
sudo certbot renew
```

证书文件存放路径：
```
/etc/letsencrypt/live/www.zheng‑chang‑ren.xyz/
├─ fullchain.pem # 完整证书链
└─ privkey.pem   # 私钥
```

> ⚠️**必须重载Nginx，新证书才会生效**，只续期不重载服务，网站依旧使用旧的过期证书。
```bash
sudo systemctl reload nginx
```

> 使用 `reload` 平滑重载，不会中断网站访问；不要用 `restart`。

### 验证新证书有效期
```bash
sudo openssl x509 -in /etc/letsencrypt/live/www.zheng-chang-ren.xyz/fullchain.pem -noout -dates
```
输出会显示新的生效时间与到期时间，不再是旧的9月13日。

![](/static/img/HTTPS更新证书/ScreenShot_2026-10-02_144952_167.png)

浏览器访问网站，`Ctrl+Shift+R` 强制刷新，点击地址栏小锁查看证书信息确认更新完成。

## 配置自动续期
Certbot安装完成默认自带 `certbot‑renew.timer` systemd定时器，证书到期前30天自动尝试续期。

查看定时器状态：
```bash
sudo systemctl list-timers certbot-renew.timer
```

### 备选方案：cron定时任务（当systemd定时器失效时使用）
编辑root的定时任务：
```bash
sudo crontab -e
```
添加一行，每周凌晨2点执行续期，成功则重载Nginx：
```cron
0 2 * * 1 /usr/bin/certbot renew --quiet && systemctl reload nginx
```

## 踩坑总结
1. HTTP‑01 验证依赖**80端口公网可达**，即使全站强制HTTPS跳转，80端口也不能关闭。
2. `dry‑run` 一定要先跑一遍，避免正式续期踩坑。
3. 证书续期成功不等于网站生效，**一定要 reload Nginx**。
4. Let’s Encrypt证书有效期90天，依靠自动任务，不要手动等到过期再处理。



一、什么是 KMS 激活？

Ollama Linux 多卡部署 DeepSeek-R1 70B（四卡A6000）

修复Let’s Encrypt证书过期并配置自动续期