docker基础详解

## 一、为什么需要物理级磁盘克隆？

### 1.1 场景对比：文件级备份 vs 块级克隆

| 场景     | 文件级备份（rsync/tar） | 块级克隆（dd/pv）                     |
| -------- | ----------------------- | ------------------------------------- |
| 系统迁移 | ❌ 需重新安装引导        | ✅ 完整复制包括引导扇区                |
| 加密磁盘 | ❌ 无法读取加密内容      | ✅ 逐扇区复制，加密状态保留            |
| LVM/RAID | ❌ 需重建卷结构          | ✅ 元数据一并复制                      |
| 坏道恢复 | ❌ 跳过损坏文件          | ✅ 可配合 `conv=noerror,sync` 强制读取 |
| 取证分析 | ❌ 修改时间戳            | ✅ 比特级一致，哈希可验证              |

**核心原则**：操作系统、引导加载器、分区表、隐藏扇区（如UEFI启动分区）必须**块级复制**才能确保启动能力。

------

## 二、方案一：图形界面 Live USB 本地克隆（推荐新手）

### 2.1 准备工具

```
所需物品：
- Ubuntu Desktop ISO（≥20.04，带图形界面）
- Rufus/Ventoy 制作的启动U盘（≥4GB）
- 目标磁盘（容量≥源盘，接口兼容SATA/NVMe）
- 可选：USB硬盘盒（用于笔记本外接）
```

### 2.2 启动进入 Live 环境

```
开机 → BIOS/UEFI（按Del/F2/F12）→ 关闭 Secure Boot → 选择U盘启动
→ 选择 "Try Ubuntu"（不要选Install）
```

**关键**：Live 环境的内核不挂载本地磁盘，确保源盘处于**离线状态**。

### 2.3 磁盘识别与保护

```
# 查看所有磁盘拓扑
lsblk -fp

典型输出：
NAME        FSTYPE   LABEL       UUID                                 MOUNTPOINT
/dev/sda                              ← 源盘（系统盘，正在运行）
├─/dev/sda1 vfat     EFI         1234-5678                            
├─/dev/sda2 ext4     rootfs      a1b2c3d4-e5f6-7890-abcd-ef1234567890  
└─/dev/sda3 swap                 8765-4321-fedc-ba09-876543210987      
/dev/sdb                              ← 目标盘（全新或待覆盖）
/dev/sdc    iso9660  Ubuntu 22.04 LTS amd64                    ← 启动U盘
```

**关键安全操作：设置只读锁**

```
# 对源盘设置内核级只读标记（防止任何误写）
sudo blockdev --setro /dev/sda

# 验证只读状态
sudo blockdev --getro /dev/sda
# 输出 1 表示只读生效

# 如需临时解除（谨慎）
# sudo blockdev --setrw /dev/sda
```

> **原理**：`blockdev --setro` 修改内核块设备标志，即使 `root` 用户也无法写入，比 `mount -o ro` 更底层可靠。

### 2.4 执行克隆（带进度显示）

```
# 安装进度工具 pv（Pipe Viewer）
sudo apt update
sudo apt install -y pv

# 方案A：精确进度（需知道源盘大小）
sudo pv -tpreb -s $(blockdev --getsize64 /dev/sda) /dev/sda | \
    sudo dd bs=4M of=/dev/sdb iflag=fullblock

# 方案B：简单进度（无总进度条，仅速率）
sudo pv /dev/sda | sudo dd bs=4M of=/dev/sdb

# 参数说明：
# -t: 时间统计  -p: 进度条  -r: 速率  -e: 剩余时间  -b: 已传输字节
# bs=4M: 4MB块大小，平衡内存与效率
# iflag=fullblock: 确保每次读取完整块
```

**克隆时间估算**：

| 源盘类型 | 容量  | 典型速度 | 耗时     |
| -------- | ----- | -------- | -------- |
| SATA SSD | 500GB | 400 MB/s | ~21分钟  |
| NVMe SSD | 1TB   | 1 GB/s   | ~17分钟  |
| 机械硬盘 | 2TB   | 150 MB/s | ~3.7小时 |

### 2.5 完整性校验（关键步骤）

```
# 方法1：全盘 MD5（准确但极慢，大盘不推荐）
sudo md5sum /dev/sda > /tmp/sda.md5 &
sudo md5sum /dev/sdc > /tmp/sdc.md5 &
wait
diff /tmp/sda.md5 /tmp/sdc.md5 && echo "✅ 校验通过" || echo "❌ 数据不一致"

# 方法2：抽样校验（推荐，平衡速度与可靠性）
# 每 1MB 抽样前 4KB，覆盖全盘关键区域
sample() {
    local offset=$1
    local device=$2
    sudo dd if=/dev/$device bs=4K count=1 skip=$((offset/4)) 2>/dev/null | md5sum | cut -d' ' -f1
}

echo "开始抽样校验（每1MB抽样4KB）..."
total_mb=$(($(blockdev --getsize64 /dev/sda) / 1048576))
match=0
mismatch=0

for i in $(seq 0 1048576 $((total_mb * 1048576))); do
    if [ $((i/1048576)) -ne 0 ] && [ $(( (i/1048576) % 1000 )) -eq 0 ]; then
        echo "已检查 $((i/1048576)) / $total_mb MB..."
    fi
    
    hash_sda=$(sample $i sda)
    hash_sdb=$(sample $i sdb)
    
    if [ "$hash_sda" = "$hash_sdb" ]; then
        ((match++))
    else
        ((mismatch++))
        echo "⚠️  差异发现于偏移 $i bytes"
    fi
done

echo "匹配: $match, 不匹配: $mismatch"
[ $mismatch -eq 0 ] && echo "✅ 抽样校验通过" || echo "❌ 发现差异，建议重新克隆"
```

### 2.6 修复引导（跨硬件必需）

```
# 挂载新盘根分区（根据实际分区调整）
sudo mount /dev/sdb2 /mnt          # 假设 sdb2 是 / 分区

# 绑定挂载虚拟文件系统（chroot 环境必需）
for i in /dev /dev/pts /proc /sys /run; do
    sudo mount --bind $i /mnt$i
done

# 切换根环境
sudo chroot /mnt

# 重新安装 GRUB（关键！适配新硬件）
grub-install /dev/sdb              # 写入 MBR/GPT 启动扇区
update-grub                        # 生成新配置，检测可用内核

# 处理 UEFI 启动（如适用）
# grub-install --target=x86_64-efi --efi-directory=/boot/efi --bootloader-id=ubuntu

exit

# 清理挂载
sudo umount -R /mnt
```

### 2.7 避免 UUID 冲突（克隆后必做）

```
# 首次启动新盘前，在新盘环境中执行：
sudo rm /etc/machine-id /var/lib/dbus/machine-id
sudo systemd-machine-id-setup

# 或克隆前在源盘执行（源盘会重新生成）
# 注意：某些许可证绑定 machine-id，需提前记录
```

------

## 三、方案二：Server 版 Live 无图形克隆（服务器场景）

### 3.1 进入 TTY 控制台

```
# 在 Ubuntu Server 安装界面选择语言后
Alt+F2  或  Ctrl+Alt+F2   # 进入 TTY2
# 如无法切换，尝试：
Ctrl+Alt+F1  # 返回图形/主界面
Ctrl+Alt+F3  # 切换到 TTY3（备用）
```

### 3.2 强制刷新磁盘列表

```
# 解决热插拔磁盘不识别问题
for host in /sys/class/scsi_host/host*; do
    echo "- - -" > "$host/scan"
done
sleep 2

# NVMe 磁盘特殊处理（PCIe 热插拔）
echo 1 > /sys/bus/pci/rescan

# 重新查看
lsblk -fp
```

### 3.3 手动网络配置（如需联网下载工具）

```
# 识别网卡
ip link
# 输出示例：
# 1: lo: <LOOPBACK> ...
# 2: ens33: <BROADCAST,MULTICAST> ...    ← 物理网卡

# 启用网卡
sudo ip link set ens33 up

# 配置静态IP（无DHCP环境）
sudo ip addr add 192.168.1.99/24 dev ens33
sudo ip route add default via 192.168.1.1
echo "nameserver 8.8.8.8" | sudo tee /etc/resolv.conf

# 测试
ping -c 3 8.8.8.8
```

> **替代方案**：Alt+F1 返回安装界面，完成网络配置后 **不继续安装**，再 Alt+F2 返回 TTY，此时网络已配置好。

------

## 四、方案三：网络对传克隆（无物理接触远程服务器）

### 4.1 场景与限制

| 条件   | 要求                               |
| ------ | ---------------------------------- |
| 带宽   | 千兆以太网理论 125MB/s，万兆更佳   |
| 稳定性 | 建议独立交换机或直连，避免生产网络 |
| 安全   | 内网可信环境，或增加 SSH/SSL 隧道  |
| 时间   | 1TB 数据 @ 100MB/s ≈ 2.8 小时      |

### 4.2 直连网络配置

```
# 接收端（新机器，目标盘）
sudo ip addr add 10.0.0.2/24 dev eth0
sudo ip link set eth0 up

# 发送端（旧机器，源盘）
sudo ip addr add 10.0.0.1/24 dev eth0
sudo ip link set eth0 up

# 验证连通
ping -c 3 10.0.0.2   # 从发送端测试
```

### 4.3 无加密高速传输（内网专用）

**接收端先启动监听**：

```
sudo -i
# 获取精确字节数用于进度显示
DISK_SIZE=$(blockdev --getsize64 /dev/sda)

# 监听 12345 端口，接收后直接写入磁盘
nc -l 12345 | pv -s $DISK_SIZE | dd bs=4M of=/dev/sda iflag=fullblock

# 参数说明：
# nc -l: 监听模式  12345: 任意高端口
# pv -s: 设置总大小，显示真实进度百分比
```

**发送端开始推送**：

```
sudo -i
DISK_SIZE=$(blockdev --getsize64 /dev/sda)

# 读取源盘并通过 nc 发送
dd bs=4M if=/dev/sda iflag=direct | pv -s $DISK_SIZE | nc -q0 10.0.0.2 12345

# 参数说明：
# iflag=direct: 绕过页缓存，减少内存压力
# nc -q0: 发送完立即关闭，不等待
```

### 4.4 SSH 加密传输（跨公网/安全要求）

```
# 发送端（通过 SSH 隧道，自动加密）
sudo dd bs=4M if=/dev/sda iflag=direct | \
    pv -s $(blockdev --getsize64 /dev/sda) | \
    ssh root@10.0.0.2 "dd bs=4M of=/dev/sda"

# 或使用更高效的压缩+加密
sudo dd bs=4M if=/dev/sda | gzip -1 | \
    pv | ssh root@10.0.0.2 "gunzip | dd bs=4M of=/dev/sda"
# gzip -1: 最快压缩，减少带宽占用，CPU开销低
```

### 4.5 传输后校验

```
# 快速校验：对比前 4GB 数据
cmp -n $((4*1024*1024*1024)) /dev/sda <(ssh 10.0.0.1 dd bs=4M count=1024 if=/dev/sda)

# 或抽样校验（同2.5方法）
# 在接收端执行抽样，与发送端对比
```

------

## 五、故障排查与进阶技巧

### 5.1 克隆后无法启动

| 现象                 | 原因                 | 解决                                        |
| -------------------- | -------------------- | ------------------------------------------- |
| `GRUB rescue>` 提示  | 引导扇区未写入或损坏 | chroot 重装 grub-install                    |
| `UUID=xxx not found` | fstab 使用旧 UUID    | 编辑 /etc/fstab 更新 UUID，或使用 LABEL     |
| 内核 panic           | 缺少新硬件驱动       | 进入 Live 环境，chroot 后安装 linux-generic |
| 黑屏无输出           | 显卡驱动不匹配       | 临时添加 nomodeset 启动参数                 |

### 5.2 处理坏道磁盘

```
# 源盘有坏道时，使用 conv 参数
sudo pv /dev/sda | sudo dd bs=4M of=/dev/sdb conv=noerror,sync

# noerror: 读取错误继续
# sync: 错误位置填充空块，保持偏移对齐

# 事后标记坏块（ext4）
sudo badblocks -v /dev/sdb > /tmp/badblocks.txt
sudo e2fsck -l /tmp/badblocks.txt /dev/sdb2
```

### 5.3 压缩克隆（磁盘空间不足时）

```
# 仅克隆已使用空间（需文件系统支持）
sudo apt install partclone
sudo partclone.ext4 -c -s /dev/sda2 | pv | gzip -c > /mnt/backup/sda2.img.gz

# 恢复
gunzip -c sda2.img.gz | pv | sudo partclone.ext4 -r -o /dev/sdb2
```

### 5.4 并行克隆多盘

```
# 同时克隆到多个目标（如 RAID1 预配置）
sudo apt install tee

sudo pv /dev/sda | sudo tee >(dd bs=4M of=/dev/sdb) >(dd bs=4M of=/dev/sdc) > /dev/null
```

------

## 六、工具对比与选型建议

| 工具          | 适用场景       | 优点                 | 缺点                |
| ------------- | -------------- | -------------------- | ------------------- |
| `dd`          | 通用块复制     | 无处不在，精确控制   | 无进度，出错即停    |
| `pv` + `dd`   | 本地克隆       | 实时进度，可限速     | 需计算总大小        |
| `partclone`   | 分区级备份     | 只拷已用空间，快     | 需匹配文件系统类型  |
| `Clonezilla`  | 批量部署       | 图形界面，自动化     | 需额外ISO，灵活性低 |
| `nc` 网络对传 | 远程无介质克隆 | 无需中间存储         | 无加密，需稳定网络  |
| `rsync`       | 文件级同步     | 增量更新，可断点续传 | 不复制引导扇区      |

------

## 七、一键克隆脚本（Live 环境专用）

```
#!/bin/bash
# clone_disk.sh - 安全磁盘克隆脚本

set -euo pipefail

# 颜色输出
RED='\033[0;31m'; GREEN='\033[0;32m'; YELLOW='\033[1;33m'; NC='\033[0m'

# 交互式选择磁盘
echo "可用磁盘："
lsblk -dpno NAME,SIZE,MODEL | grep -E "sd|nvme|hd"

read -rp "源盘 (如 /dev/sda): " SRC
read -rp "目标盘 (如 /dev/sdb): " DST

# 确认
SRC_SIZE=$(blockdev --getsize64 "$SRC")
DST_SIZE=$(blockdev --getsize64 "$DST")

echo -e "${YELLOW}警告：目标盘 $DST 将被完全覆盖！${NC}"
echo "源盘: $SRC ($(numfmt --to=iec-i $SRC_SIZE))"
echo "目标: $DST ($(numfmt --to=iec-i $DST_SIZE))"

if [ "$DST_SIZE" -lt "$SRC_SIZE" ]; then
    echo -e "${RED}错误：目标盘容量不足${NC}"
    exit 1
fi

read -rp "确认继续? [yes/N]: " CONFIRM
[ "$CONFIRM" != "yes" ] && exit 0

# 设置只读保护
echo "设置源盘只读保护..."
sudo blockdev --setro "$SRC"

# 执行克隆
echo "开始克隆..."
sudo pv -tpreb -s "$SRC_SIZE" "$SRC" | sudo dd bs=4M of="$DST" iflag=fullblock

# 校验
echo "抽样校验..."
SAMPLES=1000
MATCH=0
for i in $(seq 0 $((SRC_SIZE/SAMPLES/1024/1024)) $((SRC_SIZE/1024/1024))); do
    OFFSET=$((i*1024*1024))
    [ $OFFSET -ge $SRC_SIZE ] && break
    
    HASH_SRC=$(sudo dd if="$SRC" bs=4K count=1 skip=$((OFFSET/4/1024)) 2>/dev/null | md5sum | cut -d' ' -f1)
    HASH_DST=$(sudo dd if="$DST" bs=4K count=1 skip=$((OFFSET/4/1024)) 2>/dev/null | md5sum | cut -d' ' -f1)
    
    [ "$HASH_SRC" = "$HASH_DST" ] && ((MATCH++)) || echo "差异 at ${i}MB"
done

echo -e "${GREEN}校验通过: $MATCH/$SAMPLES 样本匹配${NC}"

# 修复引导
echo "修复 GRUB 引导..."
sudo mount "${DST}2" /mnt 2>/dev/null || sudo mount "${DST}1" /mnt
for i in /dev /dev/pts /proc /sys /run; do sudo mount --bind $i /mnt$i; done
sudo chroot /mnt grub-install "$DST" 2>/dev/null || echo "GRUB 安装失败，请手动处理"
sudo umount -R /mnt

echo -e "${GREEN}克隆完成！请执行 UUID 清理后重启${NC}"
echo "sudo rm /etc/machine-id /var/lib/dbus/machine-id"
echo "sudo systemd-machine-id-setup"
```



Linux磁盘克隆

## 一、GRUB 基础概念

### 1.1 什么是 GRUB？

GRUB 是 **Linux 系统最常用的启动引导程序**，负责：

| 阶段          | 功能                             | 存储位置                     |
| ------------- | -------------------------------- | ---------------------------- |
| **Stage 1**   | BIOS/UEFI 加载 GRUB 核心         | MBR（主引导记录）或 EFI 分区 |
| **Stage 1.5** | 文件系统驱动，加载 Stage 2       | /boot/grub 附近              |
| **Stage 2**   | 完整功能：菜单、命令行、加载内核 | `/boot/grub/`                |

### 1.2 GRUB 版本对比

| 特性      | GRUB Legacy (GRUB 0.97) | **GRUB 2 (推荐)**                    |
| --------- | ----------------------- | ------------------------------------ |
| 配置文件  | `/boot/grub/menu.lst`   | `/boot/grub/grub.cfg`（自动生成）    |
| 配置源    | 直接编辑                | `/etc/default/grub` + `/etc/grub.d/` |
| 脚本支持  | 有限                    | 完整 Bash-like 语法                  |
| UEFI 支持 | ❌                       | ✅                                    |
| 模块化    | 弱                      | 强（按需加载驱动）                   |

**现代发行版（Ubuntu 20.04+、RHEL 8+、Debian 11+）全部使用 GRUB 2**。

------

## 二、GRUB 界面详解

### 2.1 启动菜单界面

```
┌─────────────────────────────────────────────────────────┐
│  GNU GRUB  version 2.06                                 │
│                                                         │
│  ┌─────────────────────────────────────────────────┐   │
│  │ * Ubuntu                                        │   │
│  │   Advanced options for Ubuntu                   │   │
│  │   Windows Boot Manager (on /dev/nvme0n1p1)      │   │
│  │   UEFI Firmware Settings                        │   │
│  └─────────────────────────────────────────────────┘   │
│                                                         │
│  Use the ↑ and ↓ keys to select which entry is        │
│  highlighted. Press enter to boot the selected OS,    │
│  'e' to edit the commands before booting or 'c' for   │
│  a command-line.                                       │
│                                                         │
│  The highlighted entry will be executed automatically  │
│  in 10s.                                              │
│                                                         │
└─────────────────────────────────────────────────────────┘
```

**按键功能**：

| 按键             | 功能                                   |
| ---------------- | -------------------------------------- |
| `↑` / `↓`        | 选择启动项                             |
| `Enter`          | 启动选中项                             |
| `e`              | **编辑当前启动项**（临时修改，不保存） |
| `c`              | **进入命令行模式**（GRUB Shell）       |
| `Esc`            | 返回上一级菜单                         |
| `F10` / `Ctrl+X` | 编辑后启动（在编辑界面）               |

### 2.2 编辑界面（按 `e` 进入）

```
┌─────────────────────────────────────────────────────────┐
│  setparams 'Ubuntu'                                     │
│                                                         │
│  recordfail                                             │
│  load_video                                             │
│  gfxmode $linux_gfx_mode                                │
│  insmod gzio                                            │
│  if [ x$grub_platform = xxen ]; then insmod xzio; fi    │
│  insmod part_gpt                                        │
│  insmod ext2                                            │
│  search --no-floppy --fs-uuid --set=root 1234-5678      │
│  linux   /vmlinuz-5.15.0-76-generic root=UUID=xxx ro    │
│  initrd  /initrd.img-5.15.0-76-generic                  │
│                                                         │
│  ┌─────────────────────────────────────────────────┐   │
│  │ Ctrl+X or F10: boot    Ctrl+C or F2: command   │   │
│  │ ESC: discard edits                              │   │
│  └─────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────┘
```

**关键行解析**：

| 行                       | 作用                                             |
| ------------------------ | ------------------------------------------------ |
| `linux /vmlinuz-...`     | 指定内核镜像路径和启动参数                       |
| `root=UUID=xxx`          | 根文件系统位置                                   |
| `ro`                     | 以只读方式挂载根（后续 initramfs 会 remount rw） |
| `initrd /initrd.img-...` | 指定初始化内存盘                                 |
| `quiet splash`           | 静默启动+显示动画（删除可看到详细启动日志）      |

### 2.3 命令行模式（按 `c` 进入）

```
grub> ls                    # 列出所有设备和分区
grub> ls (hd0,gpt1)/        # 查看 (hd0,gpt1) 分区的根目录
grub> ls (hd0,gpt1)/boot/   # 查看 /boot 目录

grub> set root=(hd0,gpt2)   # 设置根分区
grub> linux /vmlinuz-5.15.0-76-generic root=/dev/nvme0n1p2 ro
grub> initrd /initrd.img-5.15.0-76-generic
grub> boot                  # 启动
```

**常用命令**：

| 命令                         | 功能                 |
| ---------------------------- | -------------------- |
| `ls`                         | 列出设备、分区、文件 |
| `set root=(hdX,gptY)`        | 设置根分区           |
| `linux /path/to/vmlinuz ...` | 加载内核             |
| `initrd /path/to/initrd`     | 加载初始化内存盘     |
| `boot`                       | 启动系统             |
| `cat /etc/fstab`             | 查看文件内容         |
| `help`                       | 查看帮助             |
| `reboot`                     | 重启                 |
| `halt`                       | 关机                 |

------

## 三、GRUB 配置定制

### 3.1 配置文件结构

```
/etc/grub.d/                    # 配置脚本目录（按数字顺序执行）
├── 00_header                   # 头部信息、环境设置
├── 05_debian_theme             # 主题/背景图（Ubuntu）
├── 10_linux                    # Linux 内核启动项（自动生成）
├── 20_linux_xen                # Xen 虚拟化支持
├── 30_os-prober                # 探测其他操作系统（Windows）
├── 30_uefi-firmware            # UEFI 固件设置入口
├── 40_custom                   # 用户自定义项（推荐在此添加）
└── 41_custom                   # 自定义项备份

/etc/default/grub               # 主配置文件（修改后需 update-grub）
/boot/grub/grub.cfg             # 生成的最终配置（不要直接编辑！）
```

### 3.2 常用配置修改

#### 修改 `/etc/default/grub`

```
sudo nano /etc/default/grub

# 关键配置项：
GRUB_DEFAULT=0                    # 默认启动项（0=第一个）
GRUB_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 5.15.0-76-generic"  # 指定内核

GRUB_TIMEOUT=10                   # 菜单显示时间（秒），-1=无限等待
GRUB_TIMEOUT_STYLE=menu           # menu/countdown/hidden

GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"   # 默认启动参数
GRUB_CMDLINE_LINUX=""             # 附加到所有启动项的参数

# 显示/隐藏菜单
GRUB_HIDDEN_TIMEOUT=0             # 隐藏菜单，直接启动
GRUB_HIDDEN_TIMEOUT_QUIET=true

# 图形界面
GRUB_GFXMODE=1920x1080            # 分辨率
GRUB_GFXPAYLOAD_LINUX=keep        # 保持图形模式

# 主题
GRUB_THEME="/boot/grub/themes/starfield/theme.txt"

# 密码保护（生产环境推荐）
GRUB_PASSWORD="grub.pbkdf2.sha512.10000.xxx"
```

#### 应用配置

```
# Debian/Ubuntu
sudo update-grub
# 或完整命令
sudo grub-mkconfig -o /boot/grub/grub.cfg

# RHEL/CentOS/Fedora
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
# UEFI 系统
sudo grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
```

### 3.3 添加自定义启动项

编辑 `/etc/grub.d/40_custom`：

```
#!/bin/sh
exec tail -n +3 $0

# 启动 Windows（手动指定）
menuentry "Windows 10" {
    insmod part_gpt
    insmod fat
    insmod chain
    search --fs-uuid --set=root 1234-5678
    chainloader /EFI/Microsoft/Boot/bootmgfw.efi
}

# 启动 ISO 镜像（Live CD）
menuentry "Ubuntu Live ISO" {
    set isofile="/iso/ubuntu-22.04.iso"
    loopback loop (hd0,1)$isofile
    linux (loop)/casper/vmlinuz boot=casper iso-scan/filename=$isofile quiet
    initrd (loop)/casper/initrd
}

# 内存测试
menuentry "Memory Test (Memtest86+)" {
    linux16 /boot/memtest86+.bin
}
```

然后执行 `sudo update-grub`。

### 3.4 启动菜单美化

```
# 安装主题
sudo add-apt-repository ppa:daniruiz/flat-remix
sudo apt install flat-remix-grub

# 或手动安装
sudo git clone https://github.com/vinceliuice/grub2-themes.git /tmp/grub2-themes
cd /tmp/grub2-themes
sudo ./install.sh -t vimix -s 1080p

# 修改配置启用
sudo nano /etc/default/grub
GRUB_THEME="/boot/grub/themes/vimix/theme.txt"

sudo update-grub
```

------

## 四、GRUB 故障修复

### 4.1 常见故障场景

| 现象                        | 原因                  | 修复方法                        |
| --------------------------- | --------------------- | ------------------------------- |
| `error: file not found`     | 内核文件被删除或移动  | GRUB 命令行手动指定正确路径     |
| `error: unknown filesystem` | GRUB 不支持该文件系统 | 安装对应 fs 模块，或重建 GRUB   |
| `grub>` 提示符（无菜单）    | `grub.cfg` 损坏或丢失 | 命令行手动启动，或 Live CD 修复 |
| `grub rescue>` 提示符       | Stage 1.5/2 损坏      | 使用 Live CD 完整重装 GRUB      |
| 直接进入 Windows，无 Linux  | UEFI 启动顺序被覆盖   | 调整 UEFI 启动项，或修复 GRUB   |
| 启动后黑屏                  | 显卡驱动问题          | 编辑启动参数添加 `nomodeset`    |

### 4.2 紧急修复：GRUB 命令行启动系统

当 GRUB 菜单损坏，只剩 `grub>` 提示符时：

```
# 步骤 1：找到根分区
grub> ls
(hd0) (hd0,gpt1) (hd0,gpt2) (hd0,gpt3)

grub> ls (hd0,gpt2)/
# 看到 vmlinuz 和 initrd.img = 找到根分区

# 步骤 2：设置变量
grub> set root=(hd0,gpt2)
grub> set prefix=(hd0,gpt2)/boot/grub

# 步骤 3：加载内核（根据实际版本调整）
grub> linux /vmlinuz-5.15.0-76-generic root=/dev/nvme0n1p2 ro
# 或先用 UUID（更可靠）
grub> linux /vmlinuz-5.15.0-76-generic root=UUID=xxxxx ro

# 步骤 4：加载初始化内存盘
grub> initrd /initrd.img-5.15.0-76-generic

# 步骤 5：启动
grub> boot
```

进入系统后，**立即修复 GRUB**：

```
sudo update-grub
sudo grub-install /dev/nvme0n1  # 安装到磁盘，不是分区！
```

### 4.3 Live CD 完整修复

```
# 1. 从 Ubuntu Live USB 启动，选择 "Try Ubuntu"

# 2. 打开终端，查看磁盘
sudo fdisk -l
# 找到 Linux 根分区，如 /dev/nvme0n1p2

# 3. 挂载根分区
sudo mount /dev/nvme0n1p2 /mnt

# 4. 挂载其他必要文件系统
sudo mount /dev/nvme0n1p1 /mnt/boot/efi  # UEFI 系统
sudo mount --bind /dev /mnt/dev
sudo mount --bind /proc /mnt/proc
sudo mount --bind /sys /mnt/sys

# 5. chroot 进入系统
sudo chroot /mnt

# 6. 重新安装 GRUB
grub-install /dev/nvme0n1
update-grub

# 7. 退出并重启
exit
sudo reboot
```

### 4.4 重置 root 密码

```
# 在 GRUB 菜单按 'e' 编辑启动项

# 找到 linux 开头的那行，在行末添加：
init=/bin/bash

# 按 Ctrl+X 或 F10 启动

# 进入 root shell（无密码！）
# 根分区是只读的，重新挂载
mount -o remount,rw /

# 修改密码
passwd root

# 重启
exec /sbin/init
```

------

## 五、UEFI 与 Legacy BIOS 差异

| 特性          | Legacy BIOS             | UEFI                                                         |
| ------------- | ----------------------- | ------------------------------------------------------------ |
| 分区表        | MBR                     | GPT                                                          |
| 启动文件位置  | MBR 前 446 字节         | EFI 系统分区（ESP）                                          |
| GRUB 安装目标 | `/dev/sda`（磁盘）      | `/dev/sda1`（ESP 分区）                                      |
| 安装命令      | `grub-install /dev/sda` | `grub-install --target=x86_64-efi --efi-directory=/boot/efi --bootloader-id=ubuntu` |
| 配置文件路径  | `/boot/grub/grub.cfg`   | `/boot/efi/EFI/ubuntu/grub.cfg`                              |
| 安全启动      | 不支持                  | 支持（可能需关闭或 shim）                                    |

**UEFI 专用修复**：

```
# 重新安装 UEFI 版本的 GRUB
sudo grub-install --target=x86_64-efi --efi-directory=/boot/efi --bootloader-id=ubuntu --recheck

# 更新 NVRAM 启动项
sudo efibootmgr -v  # 查看当前项
sudo update-grub
```

------

## 六、GRUB 安全加固

### 6.1 设置启动密码

```
# 生成密码哈希
grub-mkpasswd-pbkdf2
# 输入密码，复制生成的哈希

sudo nano /etc/grub.d/40_custom
set superusers="admin"
password_pbkdf2 admin grub.pbkdf2.sha512.10000.xxxxxx

# 限制普通用户编辑
sudo nano /etc/grub.d/10_linux
# 在 menuentry 块中添加 --users '' 表示需要密码
menuentry 'Ubuntu' --users '' {
    ...
}

sudo update-grub
```

### 6.2 禁用恢复模式

```
sudo nano /etc/default/grub
GRUB_DISABLE_RECOVERY="true"

sudo update-grub
```



GRUB界面详解

## 一、为什么选择 Miniconda？

### 1.1 Python 环境管理的困境

Python 开发者的经典噩梦：

```
# 场景 1：系统 Python 被污染
sudo pip install tensorflow    # 破坏系统包，yum/apt 报错
pip install numpy==1.19        # 项目 A 需要 1.19
pip install numpy==1.24        # 项目 B 需要 1.24，A 崩溃

# 场景 2：虚拟环境工具混乱
python -m venv myenv           # venv，标准库自带，功能简陋
virtualenv myenv               # virtualenv，第三方，历史包袱
pipenv install                 # Pipenv，Lock 文件慢，争议大
poetry install                 # Poetry，新兴，生态不成熟
```

### 1.2 Conda 的核心优势

| 特性              | pip + venv         | Conda                      | 说明                                   |
| ----------------- | ------------------ | -------------------------- | -------------------------------------- |
| **包管理**        | 仅 Python 包       | Python + C/C++/R/Node      | 解决 NumPy/Pandas 等科学计算的复杂依赖 |
| **环境隔离**      | 是                 | 是                         | 独立 Python 解释器和库                 |
| **二进制分发**    | 编译安装慢         | 预编译包（.tar.bz2）       | 安装 PyTorch/TensorFlow 从小时降到分钟 |
| **多版本 Python** | 需手动编译         | `conda install python=3.9` | 一键切换                               |
| **跨平台**        | 有限               | Windows/macOS/Linux 统一   | 环境导出文件跨平台可用                 |
| **环境导出**      | `requirements.txt` | `environment.yml`          | YAML 包含通道、pip 依赖，更完整        |

**关键认知**：Conda 不仅是 Python 包管理器，更是**跨语言、跨平台的通用包管理器和环境管理器**。

### 1.3 Miniconda vs Anaconda

| 对比项       | Miniconda               | Anaconda             |
| ------------ | ----------------------- | -------------------- |
| **体积**     | ~400 MB                 | ~3 GB                |
| **预装包**   | 仅 Conda + Python       | 2500+ 科学计算包     |
| **适用场景** | 生产环境、CI/CD、服务器 | 初学者、数据科学入门 |
| **推荐度**   | ⭐⭐⭐⭐⭐                   | ⭐⭐⭐                  |

**结论**：生产环境、服务器部署、Docker 镜像**必选 Miniconda**，避免 Anaconda 的臃肿和许可风险。

------

## 二、Miniconda 安装与配置

### 2.1 标准安装流程（Linux）

```
# 1. 下载最新版（国内镜像加速）
wget https://mirrors.cernet.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 或清华镜像
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 2. 校验完整性（可选但推荐）
sha256sum Miniconda3-latest-Linux-x86_64.sh
# 对比官网公布的哈希值

# 3. 静默安装（-b = batch，-p = prefix）
sudo bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3

# 4. 全局配置（所有用户可用）
echo 'export PATH=/opt/miniconda3/bin:$PATH' | sudo tee /etc/profile.d/miniconda.sh
source /etc/profile.d/miniconda.sh

# 5. 初始化 Shell（生成 conda 函数）
sudo /opt/miniconda3/bin/conda init --all  # bash, zsh, fish 全部初始化

# 6. 验证
conda --version
conda info
```

### 2.2 多用户共享配置（企业场景）

```
# 创建 conda 用户组
sudo groupadd conda
sudo chgrp -R conda /opt/miniconda3
sudo chmod 775 /opt/miniconda3
sudo chmod g+s /opt/miniconda3  # 新建文件继承组

# 用户加入组
sudo usermod -aG conda $USER
# 重新登录生效

# 共享包缓存（节省磁盘）
sudo mkdir -p /opt/conda-pkgs
sudo /opt/miniconda3/bin/conda config --system --add pkgs_dirs /opt/conda-pkgs
```

### 2.3 国内镜像加速（必做）

```
# 生成或编辑配置文件
cat > ~/.condarc <<'EOF'
channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  nvidia: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF

# 清除索引缓存
conda clean -i

# 验证
conda config --show channels
```

### 2.4 完全卸载（干净移除）

```
# 步骤 1：反向初始化（移除 shell 配置）
conda activate base
conda init --reverse --all

# 步骤 2：删除安装目录
sudo rm -rf /opt/miniconda3      # 系统级安装
rm -rf ~/miniconda3              # 用户级安装

# 步骤 3：删除用户配置
rm -rf ~/.condarc ~/.conda ~/.continuum ~/.anaconda
rm -rf ~/.miniconda3             # 可能存在的残留

# 步骤 4：清理 shell 配置（如果 init --reverse 未完全清除）
sed -i '/conda initialize/d' ~/.bashrc ~/.zshrc
```

------

## 三、环境管理：从入门到精通

### 3.1 环境生命周期管理

```
# ========== 创建环境 ==========

# 基础环境（指定 Python 版本）
conda create -n myproject python=3.10

# 指定多个包（版本约束）
conda create -n datasci python=3.9 numpy=1.24 pandas=1.5 scikit-learn=1.3

# 从 requirements.txt 迁移（混合使用）
conda create -n mixed python=3.10
conda activate mixed
pip install -r requirements.txt  # 纯 pip 包继续用 pip

# 禁用默认包（.condarc 中配置了默认安装包时）
conda create -n minimal python=3.11 --no-default-packages

# ========== 查看环境 ==========

conda env list
# 或
conda info --envs

# 输出：
# base                  *  /opt/miniconda3          # * 表示当前激活
# myproject                /opt/miniconda3/envs/myproject
# datasci                  /home/user/.conda/envs/datasci

# 查看环境详情
conda info -n myproject

# ========== 激活/停用 ==========

conda activate myproject    # 激活
conda deactivate            # 停用（回到 base 或系统）

# ========== 删除环境 ==========

conda remove -n myproject --all  # 彻底删除
# 或
conda env remove -n myproject
```

### 3.2 环境克隆与迁移

```
# 克隆环境（同机器备份）
conda create --name myproject-backup --clone myproject

# 导出环境文件（跨机器迁移）
conda activate myproject
conda env export > environment.yml

# 查看 environment.yml 内容
cat environment.yml
# name: myproject
# channels:
#   - conda-forge
#   - defaults
# dependencies:
#   - python=3.10.12
#   - numpy=1.24.3
#   - pip:
#     - some-pip-only-package==1.0.0

# 从文件创建环境（另一台机器）
conda env create -f environment.yml

# 指定新名字创建
conda env create -f environment.yml -n myproject-new
```

### 3.3 环境版本控制（时间机器）

```
# 查看环境变更历史
conda list --revisions

# 输出：
# 2023-10-15 09:23:23  (rev 0)
# +numpy-1.24.3
# +python-3.10.12
#
# 2023-10-20 14:15:08  (rev 1)
# +pandas-2.0.3
# -numpy-1.24.3
# +numpy-1.25.0

# 回滚到指定版本
conda install --revision=0  # 回到最初状态

# 撤销最后一次操作
conda install --revision=-2  # 倒数第二个版本
```

### 3.4 高级：指定路径的环境

```
# 创建到指定路径（非标准 envs 目录）
conda create --prefix /data/conda-envs/bigdata python=3.10

# 激活（必须全路径）
conda activate /data/conda-envs/bigdata

# 查看
conda env list
# /data/conda-envs/bigdata  *  /data/conda-envs/bigdata

# 重命名（实际是克隆+删除）
conda create --name bigdata-renamed --clone /data/conda-envs/bigdata
conda remove --prefix /data/conda-envs/bigdata --all
```

------

## 四、包管理：Conda 与 Pip 的协作

### 4.1 Conda 包查询与安装

```
# 搜索包
conda search numpy
conda search numpy=1.24  # 指定版本

# 安装包
conda install numpy
conda install numpy=1.24.3  # 精确版本
conda install "numpy>=1.24,<1.25"  # 范围

# 指定通道（channel）
conda install pytorch torchvision torchaudio -c pytorch -c nvidia

# 更新包
conda update numpy
conda update --all  # 更新所有

# 删除包
conda remove numpy
```

### 4.2 Conda + Pip 混合使用（最佳实践）

```
# 步骤 1：优先用 Conda 安装底层依赖
conda create -n ml python=3.10
conda activate ml
conda install numpy scipy pandas scikit-learn

# 步骤 2：Conda 没有的包，再用 pip
pip install transformers datasets accelerate

# 步骤 3：锁定完整环境（生产必备）
conda env export --from-history > environment.yml  # 仅手动安装的包
pip list --format=freeze > requirements.txt        # pip 包清单

# 或使用 conda-lock（更严谨）
conda install conda-lock
conda-lock -f environment.yml -p linux-64
```

**关键原则**：

| 场景                                 | 工具      | 原因                          |
| ------------------------------------ | --------- | ----------------------------- |
| NumPy/SciPy/Pandas/Matplotlib        | **Conda** | MKL 优化，预编译二进制        |
| PyTorch/TensorFlow/JAX               | **Conda** | CUDA 版本自动匹配             |
| 纯 Python 包（Django/Flask/FastAPI） | pip       | Conda 通道可能滞后            |
| 最新开发版                           | pip       | `pip install git+https://...` |

### 4.3 环境健康检查

```
# 诊断环境完整性
conda doctor

# 输出示例：
# ✔ Environment is listed in environments.txt
# ✔ Environment has a valid prefix
# ✔ No broken packages found
# ✖ Missing files: 2 packages have missing files
#   - numpy: 1 file missing (lib/libmkl_rt.so)
#   - pytorch: 3 files missing

# 修复：重新安装问题包
conda install --force-reinstall numpy pytorch
```

------

## 五、生产环境高级技巧

### 5.1 Docker 中的 Miniconda

```
# Dockerfile
FROM continuumio/miniconda3:latest

# 复制环境文件
COPY environment.yml /tmp/

# 创建环境（使用 conda-pack 或直接从文件）
RUN conda env create -f /tmp/environment.yml && \
    conda clean -afy

# 激活环境（Docker 中需用 shell 包装）
SHELL ["conda", "run", "-n", "myenv", "/bin/bash", "-c"]

# 或 ENTRYPOINT 激活
ENTRYPOINT ["conda", "run", "--no-capture-output", "-n", "myenv", "python"]
CMD ["app.py"]
```

**更优方案：使用 conda-pack（预打包环境）**

```
# 在开发机打包
conda install conda-pack
conda pack -n myenv -o myenv.tar.gz

# Dockerfile 中解压即用
FROM debian:bullseye-slim
COPY myenv.tar.gz /tmp/
RUN mkdir -p /opt/myenv && tar -xzf /tmp/myenv.tar.gz -C /opt/myenv
ENV PATH=/opt/myenv/bin:$PATH
```

### 5.2 CI/CD 中的 Conda

```
# .github/workflows/python-app.yml
name: Python CI

on: [push, pull_request]

jobs:
  test:
    runs-on: ubuntu-latest
    strategy:
      matrix:
        python-version: ["3.9", "3.10", "3.11"]
    
    steps:
    - uses: actions/checkout@v3
    
    - name: Setup Miniconda
      uses: conda-incubator/setup-miniconda@v2
      with:
        auto-update-conda: true
        python-version: ${{ matrix.python-version }}
        environment-file: environment.yml
        activate-environment: test-env
    
    - name: Run tests
      shell: bash -l {0}
      run: |
        conda activate test-env
        pytest tests/
```

### 5.3 禁用干扰提示

```
# 禁用 conda 更新提示（每次激活都提示很烦）
conda config --set notify_outdated_conda false

# 禁用默认激活 base 环境
conda config --set auto_activate_base false

# 在 .condarc 中完整配置
cat > ~/.condarc <<'EOF'
channels:
  - defaults
show_channel_urls: true
notify_outdated_conda: false
auto_activate_base: false
create_default_packages: []
EOF
```

------

## 六、故障排查速查表

| 现象                          | 诊断                     | 解决                                            |
| ----------------------------- | ------------------------ | ----------------------------------------------- |
| `conda: command not found`    | `echo $PATH`             | 添加 `/opt/miniconda3/bin` 到 PATH              |
| `Solving environment: failed` | `conda clean --all`      | 清除缓存，或换国内镜像                          |
| `PackagesNotFoundError`       | `conda search pkg`       | 换 channel 或改用 pip                           |
| `Permission denied`           | `ls -la /opt/miniconda3` | `sudo chown -R $USER:$USER` 或加用户到 conda 组 |
| 环境激活后 pip 指向系统       | `which pip`              | 用 `python -m pip` 或重装 pip                   |
| 包冲突无法解决                | `conda list --revisions` | 回滚或创建干净环境                              |
| 环境损坏                      | `conda doctor`           | `conda install --force-reinstall` 或重建        |

------

## 七、完整命令速查表

```
# ========== 安装与配置 ==========
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3
conda init --all
conda config --set auto_activate_base false

# ========== 环境管理 ==========
conda create -n myenv python=3.10
conda activate myenv
conda deactivate
conda env list
conda remove -n myenv --all
conda create --name clone --clone myenv

# ========== 包管理 ==========
conda install numpy=1.24
conda update --all
conda remove numpy
conda list
conda search pkg

# ========== 导入导出 ==========
conda env export > environment.yml
conda env create -f environment.yml
conda list --revisions
conda install --revision=0

# ========== 维护 ==========
conda clean -i    # 清除索引缓存
conda clean -p    # 清除未使用包
conda clean -a    # 清除所有
conda doctor      # 健康检查
```



虚拟环境之conda

## 一、为什么需要虚拟环境？

### 1.1 Python 的"依赖地狱"

```
# 场景 1：系统 Python 被污染
sudo pip install requests          # 破坏系统包，yum/apt 可能崩溃
pip install numpy==1.19            # 项目 A 需要 1.19
pip install numpy==1.24            # 项目 B 需要 1.24，A 崩溃

# 场景 2：Python 版本冲突
python3 --version                  # 系统 Python 3.6
# 新项目需要 Python 3.10 特性
# 升级系统 Python = 系统工具崩溃

# 场景 3：开发 vs 生产不一致
开发机：Mac + Python 3.9 + 手动编译的库
生产机：Linux + Python 3.8 + 缺失系统依赖
# "在我电脑上能跑"
```

### 1.2 虚拟环境的核心价值

| 问题             | 虚拟环境解决方案             |
| ---------------- | ---------------------------- |
| 依赖版本冲突     | 每个项目独立隔离，互不影响   |
| Python 版本差异  | 多版本 Python 并存，自由切换 |
| 开发与生产不一致 | 导出锁定文件，精确复现环境   |
| 权限问题         | 无需 sudo，用户级安装        |
| 部署复杂         | 打包环境，一键迁移           |

------

## 二、Python 虚拟环境技术全景

### 2.1 技术演进时间线

```
2007  virtualenv 诞生          # 第一个第三方虚拟环境工具
2012  venv 加入标准库 (Python 3.3)  # 官方内置，无需安装
2016  Pipenv 发布              # Pipfile + Lock，但速度慢
2018  Poetry 发布              # 现代依赖管理，pyproject.toml
2019  Conda 生态成熟           # 跨语言、二进制包、数据科学首选
2020  Python 3.9 venv 支持 --upgrade-deps
2023  uv 发布 (Rust 编写)      # 极速替代，兼容 pip
```

### 2.2 工具对比矩阵

| 工具                | 类型          | Python 版本管理 | 非 Python 包   | 速度   | 适用场景                     |
| ------------------- | ------------- | --------------- | -------------- | ------ | ---------------------------- |
| **venv**            | 标准库        | ❌ 需配合 pyenv  | ❌              | ⭐⭐⭐    | 标准库够用，简单项目         |
| **virtualenv**      | 第三方        | ❌ 需配合 pyenv  | ❌              | ⭐⭐⭐    | 兼容旧 Python，功能更多      |
| **Pipenv**          | 第三方        | ❌               | ❌              | ⭐⭐     | 不推荐，Lock 慢，争议大      |
| **Poetry**          | 第三方        | ❌ 需插件        | ❌              | ⭐⭐⭐⭐   | 现代 Python 项目，依赖解析强 |
| **Conda/Miniconda** | 独立发行版    | ✅ 原生支持      | ✅ C/C++/R/Node | ⭐⭐⭐⭐⭐  | **数据科学、ML、生产部署**   |
| **uv**              | 第三方 (Rust) | ✅ 原生支持      | ❌              | ⭐⭐⭐⭐⭐⭐ | 极速替代 pip，新兴工具       |
| **PDM**             | 第三方        | ✅ PEP 582       | ❌              | ⭐⭐⭐⭐⭐  | 现代替代，PEP 标准支持       |

------

## 三、venv：标准库方案（轻量首选）

### 3.1 基础用法

```
# 创建虚拟环境（当前目录下创建 venv/ 文件夹）
python3 -m venv myenv

# 指定 Python 版本（需系统已安装）
python3.10 -m venv myenv-py310

# 激活（Linux/macOS）
source myenv/bin/activate

# 激活（Windows）
myenv\Scripts\activate.bat

# 停用
deactivate

# 删除环境（直接删文件夹）
rm -rf myenv
```

### 3.2 进阶配置

```
# 创建时升级 pip（Python 3.9+）
python3 -m venv myenv --upgrade-deps

# 不带 pip（极简，需手动安装）
python3 -m venv myenv --without-pip

# 使用系统 site-packages（不推荐）
python3 -m venv myenv --system-site-packages

# 查看环境配置
cat myenv/pyvenv.cfg
# home = /usr/bin
# version = 3.10.12
# executable = /usr/bin/python3.10
```

### 3.3 完整工作流

```
# 项目初始化
mkdir myproject && cd myproject
python3 -m venv venv
source venv/bin/activate

# 安装依赖
pip install --upgrade pip
pip install flask sqlalchemy

# 锁定依赖（生产必备）
pip freeze > requirements.txt
# 或更精确的 pip-tools
pip install pip-tools
pip-compile requirements.in  # 生成 requirements.txt

# 生产部署
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
```

### 3.4 venv 的局限

| 局限                 | 说明                          | 解决方案                |
| -------------------- | ----------------------------- | ----------------------- |
| 不能管理 Python 版本 | venv 继承创建时的 Python      | 配合 pyenv 或改用 Conda |
| 编译安装慢           | NumPy/Pandas 从源码编译       | 改用 Conda 预编译包     |
| 非 Python 依赖       | 需要系统安装 libssl-dev 等    | Conda 统一管理          |
| 跨平台锁定           | requirements.txt 可能平台相关 | Conda environment.yml   |

------

## 四、virtualenv：venv 的增强版

### 4.1 与 venv 的区别

```
# 安装
pip install virtualenv

# 更多功能
virtualenv myenv
virtualenv myenv -p python3.10      # 指定解释器
virtualenv myenv --no-setuptools    # 不安装 setuptools
virtualenv myenv --always-copy      # 复制而非软链接（适合网络文件系统）
virtualenv myenv --relocatable      # 可迁移（实验性）
```

### 4.2 何时还用 virtualenv？

- Python 2.7 遗留项目（venv 不支持）
- 需要 `--relocatable` 迁移环境
- 特定企业环境兼容性要求

**结论**：新项目直接用 venv，无需安装 virtualenv。

------

## 五、Poetry：现代 Python 项目管理

### 5.1 核心优势

```
# 安装
curl -sSL https://install.python-poetry.org | python3 -

# 初始化项目（自动生成 pyproject.toml）
poetry new myproject
cd myproject

# 或现有项目初始化
poetry init

# pyproject.toml 示例
[tool.poetry]
name = "myproject"
version = "0.1.0"
description = ""
authors = ["Your Name <you@example.com>"]
readme = "README.md"

[tool.poetry.dependencies]
python = "^3.10"
flask = "^2.3"
sqlalchemy = "^2.0"

[tool.poetry.group.dev.dependencies]
pytest = "^7.4"
black = "^23.0"

[build-system]
requires = ["poetry-core"]
build-backend = "poetry.core.masonry.api"
```

### 5.2 工作流对比

| 操作         | pip + venv                        | Poetry                          |
| ------------ | --------------------------------- | ------------------------------- |
| 创建环境     | `python -m venv venv`             | `poetry install`（自动创建）    |
| 激活环境     | `source venv/bin/activate`        | `poetry shell` 或 `poetry run`  |
| 添加依赖     | `pip install flask`               | `poetry add flask`              |
| 添加开发依赖 | `pip install pytest`              | `poetry add --group dev pytest` |
| 锁定版本     | `pip freeze > requirements.txt`   | 自动生成 `poetry.lock`          |
| 安装生产依赖 | `pip install -r requirements.txt` | `poetry install --only main`    |

### 5.3 Poetry 的局限

- **不支持 Conda 生态**：PyTorch/TensorFlow 等 ML 库安装复杂
- **PEP 标准演进中**：`pyproject.toml` 工具链仍在成熟
- **非 Python 依赖**：仍需系统或 Conda 安装

------

## 六、Miniconda/Conda：数据科学与生产首选

### 6.1 为什么数据科学必选 Conda？

```
# 场景：安装 PyTorch（对比痛苦程度）

# ===== pip 方案（可能失败）=====
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 错误 1：CUDA 版本不匹配
# 错误 2：缺少系统库 libcuda.so
# 错误 3：编译 PyTorch 从源码，2小时+
# 错误 4：运行时 segfault

# ===== Conda 方案（一键成功）=====
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
# ✓ 自动下载预编译 CUDA 版本
# ✓ 自动匹配系统 CUDA 驱动
# ✓ 自动安装 cudatoolkit
# ✓ 5 分钟完成
```

### 6.2 Miniconda 完整安装

```
# 快速安装
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b -p /opt/miniconda3
echo 'export PATH=/opt/miniconda3/bin:$PATH' >> ~/.bashrc
source ~/.bashrc
conda init --all
```

### 6.3 Conda 环境 vs Python venv 对比

| 特性             | Python venv            | Conda 环境                           |
| ---------------- | ---------------------- | ------------------------------------ |
| **创建命令**     | `python -m venv myenv` | `conda create -n myenv python=3.10`  |
| **Python 版本**  | 继承系统，无法更换     | `conda install python=3.9/3.10/3.11` |
| **包来源**       | PyPI (pip)             | Conda 通道 + PyPI                    |
| **二进制包**     | 部分（wheel）          | **全面预编译**（MKL/CUDA优化）       |
| **非 Python 包** | ❌ 不支持               | ✅ R, Node, C++ 库                    |
| **环境位置**     | 项目目录或 ~/.venvs    | `/opt/miniconda3/envs/` 或指定路径   |
| **导出文件**     | `requirements.txt`     | `environment.yml`（更完整）          |
| **激活速度**     | 快                     | 稍慢（需执行 conda 脚本）            |

### 6.4 Conda 环境实战

```
# 创建 ML 开发环境
conda create -n ml-dev python=3.10 -y
conda activate ml-dev

# 安装数据科学栈（预编译优化版）
conda install numpy scipy pandas scikit-learn matplotlib seaborn \
    -c conda-forge

# 安装 PyTorch GPU 版（自动匹配 CUDA）
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 \
    -c pytorch -c nvidia

# 安装 Jupyter
conda install jupyterlab ipykernel
python -m ipykernel install --user --name=ml-dev --display-name="Python (ML Dev)"

# 导出环境（含通道信息，跨平台可复现）
conda env export > environment.yml

# 生产环境重建
conda env create -f environment.yml -n ml-prod
```

### 6.5 Conda 与 Pip 混合最佳实践

```
# 原则：底层依赖用 Conda，纯 Python 包用 pip

# 步骤 1：Conda 安装基础科学计算
conda create -n myproject python=3.10
conda activate myproject
conda install numpy scipy pandas scikit-learn

# 步骤 2：Conda 安装深度学习框架
conda install pytorch torchvision -c pytorch

# 步骤 3：pip 安装 Conda 没有的包
pip install transformers datasets accelerate

# 步骤 4：锁定完整环境
conda env export --from-history > conda-requirements.yml  # Conda 包
pip list --format=freeze > pip-requirements.txt           # pip 包

# 或使用 conda-lock 精确锁定
conda install conda-lock
conda-lock -f environment.yml -p linux-64
```

------

## 七、工具选型决策树

```
开始
  │
  ▼
需要管理 Python 版本？（如 3.9/3.10/3.11 切换）
  │
  ├──► 是 ──► 需要非 Python 依赖？（CUDA/MKL/R）
  │            │
  │            ├──► 是 ──► 数据科学/ML 项目？
  │            │            │
  │            │            ├──► 是 ──► **Miniconda** ⭐
  │            │            │
  │            │            └──► 否 ──► Conda 或 Poetry + pyenv
  │            │
  │            └──► 否 ──► Poetry + pyenv 或 uv
  │
  └──► 否 ──► 简单项目，标准库够用？
               │
               ├──► 是 ──► **venv**（Python 3.3+ 内置）
               │
               └──► 否 ──► 需要现代依赖解析？
                            │
                            ├──► 是 ──► **Poetry**
                            │
                            └──► 否 ──► virtualenv（兼容旧版）
```

------

## 八、生产环境最佳实践

### 8.1 Docker 中的虚拟环境

```
# 方案 1：多阶段构建 + Poetry（推荐）
FROM python:3.10-slim as builder

WORKDIR /app
RUN pip install poetry
COPY pyproject.toml poetry.lock ./
RUN poetry config virtualenvs.create false \
    && poetry install --no-dev --no-interaction --no-ansi

FROM python:3.10-slim
COPY --from=builder /usr/local/lib/python3.10/site-packages /usr/local/lib/python3.10/site-packages
COPY . /app
WORKDIR /app
CMD ["python", "app.py"]

# 方案 2：Miniconda（数据科学）
FROM continuumio/miniconda3:latest
COPY environment.yml .
RUN conda env create -f environment.yml
SHELL ["conda", "run", "-n", "myenv", "/bin/bash", "-c"]
COPY . /app
WORKDIR /app
CMD ["conda", "run", "--no-capture-output", "-n", "myenv", "python", "app.py"]
```

### 8.2 CI/CD 中的环境管理

```
# GitHub Actions：矩阵测试多 Python 版本
strategy:
  matrix:
    python-version: ["3.9", "3.10", "3.11"]
    tool: ["venv", "conda", "poetry"]

include:
  - tool: venv
    setup: |
      python -m venv venv
      source venv/bin/activate
      pip install -r requirements.txt
  - tool: conda
    setup: |
      conda create -n test python=${{ matrix.python-version }} -y
      conda activate test
      conda env update -f environment.yml
  - tool: poetry
    setup: |
      pip install poetry
      poetry install
```

------

## 九、完整命令速查表

| 场景            | venv                        | Conda                               | Poetry                          |
| --------------- | --------------------------- | ----------------------------------- | ------------------------------- |
| **创建**        | `python -m venv myenv`      | `conda create -n myenv python=3.10` | `poetry init`                   |
| **激活**        | `source myenv/bin/activate` | `conda activate myenv`              | `poetry shell`                  |
| **安装包**      | `pip install pkg`           | `conda install pkg`                 | `poetry add pkg`                |
| **安装开发包**  | `pip install pytest`        | `conda install pytest`              | `poetry add --group dev pytest` |
| **锁定**        | `pip freeze > req.txt`      | `conda env export > env.yml`        | 自动 `poetry.lock`              |
| **重建**        | `pip install -r req.txt`    | `conda env create -f env.yml`       | `poetry install`                |
| **删除**        | `rm -rf myenv`              | `conda remove -n myenv --all`       | `rm -rf .venv`                  |
| **Python 版本** | 固定                        | `conda install python=3.x`          | `poetry env use 3.x`            |

一、Docker 是什么？容器化技术的革命

1.1 从物理机到容器的演进

一、为什么需要物理级磁盘克隆？

1.1 场景对比：文件级备份 vs 块级克隆

一、GRUB 基础概念

1.1 什么是 GRUB？

一、为什么选择 Miniconda？

1.1 Python 环境管理的困境

一、为什么需要虚拟环境？

1.1 Python 的"依赖地狱"