## 一、为什么需要离线安装特定版本？

### 1.1 场景分析：apt 安装的隐患

```
# 传统 apt 安装的问题
sudo apt install mysql-server
# 实际安装的是 Ubuntu 仓库维护的版本，可能：
# - 版本滞后（Ubuntu 22.04 默认 MySQL 8.0.35，而非最新 8.4.3）
# - 补丁级别不可控（自动更新可能引入未测试的变更）
# - 依赖冲突（与现有 Percona/MariaDB 组件不兼容）
```

### 1.2 离线安装的核心价值

| 场景          | 风险                             | 离线安装优势       |
| ------------- | -------------------------------- | ------------------ |
| 生产环境      | `apt upgrade` 自动升级导致不兼容 | 版本锁定，变更可控 |
| 内网/隔离环境 | 无外网访问，无法 apt             | 提前下载，本地部署 |
| 合规审计      | 需精确版本追溯                   | 哈希校验，来源明确 |
| 多节点集群    | 版本必须完全一致                 | 统一介质，批量复制 |
| 回滚需求      | 新版本故障需降级                 | 保留历史版本安装包 |

------

## 二、MySQL 版本选择策略

### 2.1 MySQL 版本生命周期

```
MySQL 8.0 系列（2018-2026）
├── 8.0.35 (Ubuntu 22.04 默认)
├── 8.0.36-8.0.40 (持续更新)
└── 8.0.41+ (仅安全修复)

MySQL 8.4 系列（2024 LTS，推荐新部署）
├── 8.4.0 (首个创新版)
├── 8.4.3 (本文目标版本，稳定可用)
└── 8.4.x (长期支持至 2032)

MySQL 9.0 系列（2024 创新版，非 LTS）
└── 仅建议测试环境使用
```

### 2.2 8.4.3 关键特性

| 特性             | 说明                                                 | 影响                     |
| ---------------- | ---------------------------------------------------- | ------------------------ |
| **认证插件变更** | `caching_sha2_password` 替代 `mysql_native_password` | 旧客户端需升级或显式配置 |
| **默认字符集**   | `utf8mb4` 全面替代 `latin1`                          | 中文支持更完善，存储增加 |
| **InnoDB 改进**  | 并行 DDL、优化器增强                                 | 大表操作性能提升 30%+    |
| **JSON 增强**    | 多值索引、聚合函数                                   | 文档型应用场景扩展       |
| **克隆插件**     | 物理热备份替代 XtraBackup                            | 备份架构简化             |

------

## 三、离线安装完整流程

### 3.1 环境准备与依赖分析

```
# 确认系统版本（MySQL 8.4.3 官方支持 Ubuntu 24.04/22.04/20.04）
lsb_release -a
# No LSB modules are available.
# Distributor ID: Ubuntu
# Description:    Ubuntu 24.04.1 LTS
# Release:        24.04
# Codename:       noble

# 清理历史 MySQL/MariaDB（关键！避免冲突）
sudo systemctl stop mysql mariadb 2>/dev/null || true
sudo apt remove --purge mysql* mariadb* 2>/dev/null || true
sudo rm -rf /var/lib/mysql /etc/mysql /var/log/mysql*

# 安装基础依赖（离线环境需提前准备这些 deb 包）
sudo apt update
sudo apt install -y \
    libaio1t64 \           # 异步 IO 支持，InnoDB 必需
    libnuma1 \             # NUMA 内存优化，大内存服务器关键
    psmisc \               # 提供 killall/fuser，管理脚本依赖
    mecab-utils \          # 日文分词（MySQL 全文索引可选）
    mecab-ipadic \         # 日文词典数据
    mecab-ipadic-utf8      # UTF-8 编码支持
```

**依赖包作用详解**：

| 包名         | 功能               | 缺失后果                               |
| ------------ | ------------------ | -------------------------------------- |
| `libaio1t64` | Linux 原生异步 IO  | InnoDB 无法初始化，启动失败            |
| `libnuma1`   | 非统一内存访问优化 | 大内存（>64GB）服务器性能下降          |
| `psmisc`     | 进程管理工具       | `mysql_secure_installation` 等脚本报错 |
| `mecab-*`    | 日文全文检索       | 不使用日文搜索可省略，但建议保留       |

### 3.2 获取官方离线安装包

```
# 方式一：官网直链下载（推荐，可验证签名）
cd /opt/mysql-packages  # 建议集中管理离线包
sudo wget https://cdn.mysql.com/archives/mysql-8.4/mysql-server_8.4.3-1ubuntu24.04_amd64.deb-bundle.tar

# 方式二：浏览器下载后传输（隔离环境）
# 访问 https://downloads.mysql.com/archives/community/
# 选择：
#   - Product: MySQL Community Server
#   - Version: 8.4.3
#   - OS: Ubuntu Linux
#   - OS Version: Ubuntu Linux 24.04 (x86, 64-bit)
#   - Package: Debian Bundle

# 验证包完整性（官网提供 SHA256 校验值）
sha256sum mysql-server_8.4.3-1ubuntu24.04_amd64.deb-bundle.tar
# 对比官网值：a1b2c3d4...（实际值需官网查询）

# 解压 bundle 包
sudo tar -xf mysql-server_8.4.3-1ubuntu24.04_amd64.deb-bundle.tar
ls -la *.deb
# 输出：
# mysql-common_8.4.3-1ubuntu24.04_amd64.deb                    # 通用组件
# mysql-community-client-plugins_8.4.3-1ubuntu24.04_amd64.deb  # 认证插件
# mysql-community-client-core_8.4.3-1ubuntu24.04_amd64.deb     # 客户端核心
# mysql-community-client_8.4.3-1ubuntu24.04_amd64.deb          # 客户端完整
# mysql-client_8.4.3-1ubuntu24.04_amd64.deb                    # 客户端元包
# mysql-community-server-core_8.4.3-1ubuntu24.04_amd64.deb     # 服务端核心
# mysql-community-server_8.4.3-1ubuntu24.04_amd64.deb          # 服务端完整
# mysql-server_8.4.3-1ubuntu24.04_amd64.deb                    # 服务端元包
# mysql-community-server-debug_8.4.3-1ubuntu24.04_amd64.deb    # 调试符号（可选）
# mysql-community-test_8.4.3-1ubuntu24.04_amd64.deb            # 测试套件（可选）
```

### 3.3 按依赖顺序安装

```
# 必须严格按依赖顺序安装，否则 dpkg 会报错
cd /opt/mysql-packages

sudo dpkg -i \
    mysql-common_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-client-plugins_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-client-core_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-client_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-client_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-server-core_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-server_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-server_8.4.3-1ubuntu24.04_amd64.deb

# 安装顺序逻辑：
# 1. mysql-common: 通用文件和目录结构
# 2. client-plugins: 认证插件（caching_sha2_password 等）
# 3. client-core: 客户端二进制和库
# 4. client: 客户端配置和依赖
# 5. client 元包: 统一客户端入口
# 6. server-core: mysqld 二进制和系统表
# 7. server: 服务端配置和启动脚本
# 8. server 元包: 统一服务端入口
```

**常见错误处理**：

```
# 错误1：依赖未满足
# dpkg: error processing package mysql-community-server (--install):
#  dependency problems - leaving unconfigured

# 解决：自动修复依赖
sudo apt -f install -y
# 或手动安装缺失包
sudo apt install -y libmecab2 libprotobuf-lite32

# 错误2：端口被占用
# [ERROR] Do you already have another mysqld server running on port: 3306?

# 解决：检查并停止冲突服务
sudo lsof -i :3306
sudo systemctl stop mysql mariadb 2>/dev/null || true
sudo killall mysqld 2>/dev/null || true

# 错误3：数据目录非空
# [ERROR] --initialize specified but the data directory has files in it

# 解决：清理或备份旧数据
sudo mv /var/lib/mysql /var/lib/mysql.backup.$(date +%Y%m%d)
sudo mkdir /var/lib/mysql && sudo chown mysql:mysql /var/lib/mysql
```

### 3.4 初始化数据目录

```
# 方式A：自动初始化（推荐，生成临时 root 密码）
sudo mysqld --initialize --user=mysql --basedir=/usr --datadir=/var/lib/mysql

# 查看生成的临时密码
sudo grep 'temporary password' /var/log/mysql/error.log
# 2024-11-15T06:30:00.123456Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: Abc9#xyz!def

# 方式B：安全初始化（无密码，首次登录设置）
sudo mysqld --initialize-insecure --user=mysql --basedir=/usr --datadir=/var/lib/mysql
# 警告：仅测试环境使用，生产必须用 --initialize

# 目录权限修正
sudo chown -R mysql:mysql /var/lib/mysql
sudo chmod 750 /var/lib/mysql
```

### 3.5 启动与验证

```
# 启动服务
sudo systemctl start mysql
sudo systemctl enable mysql

# 检查状态
sudo systemctl status mysql
# ● mysql.service - MySQL Community Server
#      Loaded: loaded (/lib/systemd/system/mysql.service; enabled; preset: enabled)
#      Active: active (running) since Fri 2024-11-15 14:30:00 CST; 1min ago

# 查看版本确认
mysql -V
# mysql  Ver 8.4.3 for Linux on x86_64 (MySQL Community Server - GPL)

# 登录验证（使用临时密码或空密码）
sudo mysql -uroot -p
# 或
sudo mysql -uroot  # 如果是 --initialize-insecure

# SQL 验证
mysql> SELECT @@version, @@version_comment;
+-----------+------------------------------+
| @@version | @@version_comment            |
+-----------+------------------------------+
| 8.4.3     | MySQL Community Server - GPL |
+-----------+------------------------------+
1 row in set (0.00 sec)

mysql> SHOW VARIABLES LIKE 'validate_password%';
# 查看密码策略（8.4 默认更严格）
```

------

## 四、版本锁定与防升级策略

### 4.1 apt 标记保留（关键！）

```
# 防止 apt upgrade 自动升级 MySQL
sudo apt-mark hold \
    mysql-server \
    mysql-community-server \
    mysql-community-client \
    mysql-community-client-core \
    mysql-community-server-core \
    mysql-community-client-plugins \
    mysql-common

# 验证标记状态
apt-mark showhold
# 应输出：
# mysql-common
# mysql-community-client
# mysql-community-client-core
# mysql-community-server
# mysql-community-server-core
# mysql-server

# 查看包状态详情
dpkg -l | grep mysql
# ii  mysql-common                    8.4.3-1ubuntu24.04   amd64   hold
# ii  mysql-community-client          8.4.3-1ubuntu24.04   amd64   hold
# ...
```

### 4.2 配置 apt 自动排除

```
# 创建 apt 偏好配置，彻底阻止 MySQL 相关包升级
sudo tee /etc/apt/preferences.d/mysql-no-upgrade << 'EOF'
Package: mysql* libmysql*
Pin: version 8.4.*
Pin-Priority: 1001

Package: mysql* libmysql*
Pin: version *
Pin-Priority: -1
EOF

# 解释：
# - 8.4.* 版本优先级 1001（高于默认 500，允许安装但需手动确认）
# - 其他版本优先级 -1（禁止安装）

# 测试：尝试安装新版本会被阻止
sudo apt install mysql-server-8.0  # 应提示：将保持现状
```

### 4.3 升级流程（受控变更）

```
# 当需要升级时，按以下流程：

# 1. 解除锁定
sudo apt-mark unhold mysql-server mysql-community-server ...

# 2. 下载新版离线包
wget https://cdn.mysql.com/.../mysql-server_8.4.4-1ubuntu24.04_amd64.deb-bundle.tar

# 3. 备份数据
sudo mysqldump -uroot -p --all-databases --single-transaction > mysql_backup_$(date +%Y%m%d).sql

# 4. 停止服务
sudo systemctl stop mysql

# 5. 解压并安装新版
tar -xf mysql-server_8.4.4...
sudo dpkg -i ... # 同上顺序

# 6. 启动并验证
sudo systemctl start mysql
mysql_upgrade -uroot -p  # 如有需要

# 7. 重新锁定
sudo apt-mark hold mysql-server ...
```

------

## 五、安全加固与初始化配置

### 5.1 首次登录必做

```
# 修改临时密码（必须满足复杂度）
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'YourNew@Strong#Pass123';

# 创建应用专用账户（禁止 root 远程）
mysql> CREATE USER 'app_user'@'%' IDENTIFIED BY 'App@Secure#456';
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON app_database.* TO 'app_user'@'%';

# 删除匿名用户和测试库
mysql> DELETE FROM mysql.user WHERE User='';
mysql> DROP DATABASE IF EXISTS test;
mysql> DELETE FROM mysql.db WHERE Db='test' OR Db='test\\_%';
mysql> FLUSH PRIVILEGES;
```

### 5.2 配置文件优化

```
# 创建生产配置文件
sudo tee /etc/mysql/mysql.conf.d/99-production.cnf << 'EOF'
[mysqld]
# 基础设置
datadir = /var/lib/mysql
socket = /var/run/mysqld/mysqld.sock
symbolic-links = 0

# 字符集（8.4 默认已 utf8mb4，显式确认）
character-set-server = utf8mb4
collation-server = utf8mb4_0900_ai_ci

# InnoDB 优化（根据内存调整）
innodb_buffer_pool_size = 4G          # 物理内存的 50-70%
innodb_buffer_pool_instances = 4
innodb_log_file_size = 512M
innodb_flush_log_at_trx_commit = 2     # 平衡性能与持久化
innodb_flush_method = O_DIRECT

# 连接设置
max_connections = 500
wait_timeout = 600
interactive_timeout = 600

# 日志配置
log_error = /var/log/mysql/error.log
slow_query_log = 1
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 2

# 安全设置
local_infile = 0
skip-symbolic-links
require_secure_transport = ON           # 强制 SSL（需配置证书）

# 性能监控
performance_schema = ON
EOF

sudo systemctl restart mysql
```

------

## 六、故障排查速查

| 现象         | 诊断命令                          | 解决方案                      |
| ------------ | --------------------------------- | ----------------------------- |
| 启动失败     | `sudo journalctl -u mysql -n 50`  | 检查 /var/log/mysql/error.log |
| 端口冲突     | `sudo lsof -i :3306`              | 停止冲突服务或修改 port       |
| 权限拒绝     | `sudo ls -la /var/lib/mysql`      | `chown -R mysql:mysql`        |
| 密码遗忘     | `sudo mysqld --skip-grant-tables` | 重置 root 密码                |
| 远程连接失败 | `telnet server 3306`              | 检查 bind-address 和防火墙    |
| 性能下降     | `SHOW ENGINE INNODB STATUS`       | 优化 innodb_buffer_pool_size  |

------

## 七、一键安装脚本（待测试）

```
#!/bin/bash
# install-mysql-8.4.3-offline.sh

set -euo pipefail

MYSQL_VERSION="8.4.3"
UBUNTU_CODENAME="noble"  # 24.04
INSTALL_DIR="/opt/mysql-${MYSQL_VERSION}"
DATA_DIR="/var/lib/mysql"

# 颜色输出
RED='\033[0;31m'; GREEN='\033[0;32m'; YELLOW='\033[1;33m'; NC='\033[0m'

log() { echo -e "${GREEN}[INFO]${NC} $1"; }
warn() { echo -e "${YELLOW}[WARN]${NC} $1"; }
error() { echo -e "${RED}[ERROR]${NC} $1"; exit 1; }

# 检查 root
[ "$(id -u)" -ne 0 ] && error "请使用 sudo 运行"

# 检查现有 MySQL
if systemctl is-active --quiet mysql 2>/dev/null; then
    warn "检测到运行中的 MySQL，将停止备份"
    mysqldump -uroot -p --all-databases > mysql_backup_$(date +%Y%m%d).sql 2>/dev/null || true
    systemctl stop mysql
fi

# 安装依赖
log "安装基础依赖..."
apt-get update
apt-get install -y libaio1t64 libnuma1 psmisc || error "依赖安装失败"

# 检查离线包
BUNDLE_TAR="mysql-server_${MYSQL_VERSION}-1ubuntu24.04_amd64.deb-bundle.tar"
if [ ! -f "$BUNDLE_TAR" ]; then
    error "未找到 ${BUNDLE_TAR}，请从官网下载后放置于当前目录"
fi

# 解压安装
log "解压并安装 MySQL ${MYSQL_VERSION}..."
mkdir -p "$INSTALL_DIR" && cd "$INSTALL_DIR"
tar -xf "/${BUNDLE_TAR}" 2>/dev/null || tar -xf "../${BUNDLE_TAR}"

dpkg -i mysql-common_*.deb \
      mysql-community-client-plugins_*.deb \
      mysql-community-client-core_*.deb \
      mysql-community-client_*.deb \
      mysql-client_*.deb \
      mysql-community-server-core_*.deb \
      mysql-community-server_*.deb \
      mysql-server_*.deb 2>/dev/null || apt-get -f install -y

# 初始化
log "初始化数据目录..."
if [ ! -d "$DATA_DIR/mysql" ]; then
    mysqld --initialize --user=mysql --basedir=/usr --datadir="$DATA_DIR"
    TEMP_PASS=$(grep 'temporary password' /var/log/mysql/error.log | tail -1 | awk -F': ' '{print $NF}')
    log "临时 root 密码: ${TEMP_PASS}"
else
    warn "数据目录已存在，跳过初始化"
fi

# 启动服务
log "启动 MySQL 服务..."
systemctl start mysql
systemctl enable mysql

# 版本验证
INSTALLED_VERSION=$(mysql -V | awk '{print $3}')
log "安装版本: ${INSTALLED_VERSION}"

# 锁定版本
log "锁定版本防止自动升级..."
apt-mark hold mysql-server mysql-community-server mysql-community-client \
              mysql-community-client-core mysql-community-server-core mysql-common

log "安装完成！请执行："
log "1. 使用临时密码登录: sudo mysql -uroot -p"
log "2. 立即修改密码: ALTER USER 'root'@'localhost' IDENTIFIED BY '新密码';"
log "3. 运行安全脚本: sudo mysql_secure_installation"
```

------

## 总结

| 关键点   | 操作                                                 |
| -------- | ---------------------------------------------------- |
| 版本控制 | `apt-mark hold` + `/etc/apt/preferences.d/` 双重锁定 |
| 离线部署 | 官网 bundle tar → dpkg 按序安装 → 初始化 → 启动      |
| 安全基线 | 临时密码 → 强制修改 → 创建应用账户 → 删除匿名用户    |
| 配置优化 | `99-production.cnf` 覆盖默认，InnoDB 按内存调优      |
| 升级流程 | 解锁 → 备份 → 安装新版 → 验证 → 重新锁定             |

离线安装特定mysql

使用 **top** 或者 **htop** 命令查看是否存在异常进程

同时有些异常进程隐藏比较深，以上两个命令无法查出
可以使用以下两个命令，查看占用 CPU 和内存的进程

```
ps -eo pid,ppid,%cpu,%mem,etimes,cmd --sort=-%cpu | head

ps -eo pid,ppid,%cpu,%mem,etimes,cmd --sort=-%mem | head
```



发现异常进程后，尝试 kill 杀死进程后
观察该异常是否会重新自启或者该异常进程每隔一段时间会自动结束进程然后重新启动类似的进程

若是以上问题，则该异常进程部署了自启任务

查看 **service** 类型 **enable** 的单元

```
systemctl list-unit-files --type=service --state=enabled
```



**cron** 系统级任务

主表，每行必须写用户，最早被读取

```
/etc/crontab
```



每行必须写用户，与 **/etc/crontab** 等效，但可按软件包管理

```
/etc/cron.d/*.conf
```



把可执行脚本扔进去就行，**anacron** 会补跑

```
/etc/cron.hourly | cron.daily | cron.weekly | cron.monthly/
```



将 **/etc/cron.d/** 目录下所有定时任务文件一次性打印到终端

```
cat /etc/cron.d/* 2>/dev/null | cat -A
```



排查异常进程

docker基础详解

## 一、内核日志的存储机制：环形缓冲区

### 1.1 什么是环形缓冲区（Ring Buffer）？

Linux 内核在启动时，会预先分配一块**固定大小的物理内存**作为日志存储区域，采用**环形（循环覆盖）**的数据结构管理：

```
┌─────────────────────────────────────────┐
│  内核环形缓冲区（Ring Buffer）           │
│  典型大小：256KB ~ 4MB（可配置）          │
├─────────────────────────────────────────┤
│  [消息1] [消息2] [消息3] ... [消息N]     │
│     ▲                          ▼        │
│     └──────── 新消息覆盖旧消息 ─────────┘ │
└─────────────────────────────────────────┘
```

**核心特性**：

| 特性           | 说明                   | 影响                       |
| -------------- | ---------------------- | -------------------------- |
| **固定大小**   | 不随日志量增长         | 高负载系统可能丢失早期日志 |
| **循环覆盖**   | 满时新消息覆盖最旧消息 | 需及时导出或持久化重要日志 |
| **内核态存储** | 不依赖文件系统         | 文件系统损坏时仍可查看     |
| **无锁设计**   | 多 CPU 并发写入        | 高性能，极低开销           |

**查看缓冲区大小**：

```
# 查看当前环形缓冲区大小（字节）
cat /sys/kernel/debug/printk/buffer_size_kb
# 或
dmesg | wc -c
```

### 1.2 内核日志的生成流程

```
硬件事件/驱动调用
       │
       ▼
┌─────────────┐    ┌─────────────┐    ┌─────────────┐
│  printk()   │───►│  环形缓冲区  │◄───│  dmesg/journalctl │
│  内核函数   │    │  (内存中)    │    │  用户态读取工具    │
└─────────────┘    └─────────────┘    └─────────────┘
                          │
                          ▼
                   ┌─────────────┐
                   │  /dev/kmsg  │
                   │  设备节点   │
                   └─────────────┘
```

------

## 二、dmesg：传统的内核日志查看器

### 2.1 dmesg 基础用法

```
# 基本输出（纯文本，无时间戳）
dmesg

# 显示可读时间戳（推荐）
dmesg -T
# [Mon Oct 27 17:15:23 2023] usb 1-1: new high-speed USB device number 2 using xhci_hcd

# 显示时间间隔（距上一条日志的秒数）
dmesg -d
# [    0.000000] Linux version 5.15.0-76-generic      ← 启动
# [    0.004567] Command line: BOOT_IMAGE=/vmlinuz...  ← 4.5ms后
```

### 2.2 高级过滤与格式化

#### 按日志级别过滤（0-7级）

| 级别 | 名称     | 含义         | 使用场景           |
| ---- | -------- | ------------ | ------------------ |
| 0    | `emerg`  | 系统不可用   | 内核崩溃、panic    |
| 1    | `alert`  | 必须立即处理 | 严重硬件故障       |
| 2    | `crit`   | 严重错误     | 关键服务失败       |
| 3    | `err`    | 错误         | 驱动加载失败       |
| 4    | `warn`   | 警告         | 配置异常、降级运行 |
| 5    | `notice` | 正常但重要   | 安全事件、状态变更 |
| 6    | `info`   | 信息性       | 常规操作日志       |
| 7    | `debug`  | 调试信息     | 开发诊断           |

```
# 仅显示错误和警告（生产排查首选）
dmesg -l err,warn
# 或完整写法
dmesg --level=err,warn

# 显示所有严重级别
dmesg -l emerg,alert,crit,err,warn,notice,info,debug
```

#### 人性化输出（交互式浏览）

```
# 自动分页 + 颜色高亮（类似 less）
dmesg -H
# 操作：↑/↓ 滚动，/ 搜索，q 退出

# 彩色输出（不自动分页）
dmesg -L
```

#### 实时监控新日志

```
# 仅监控新产生的日志（不显示历史）
dmesg --follow-new
# 或简写
dmesg -w

# 与传统 tail -f 的区别：
# tail -f /var/log/kern.log  ← 依赖 rsyslog，可能有延迟
# dmesg --follow-new         ← 直接读取 /dev/kmsg，实时性更高
```

### 2.3 实用排查案例

#### 案例 1：USB 设备无法识别

```
# 搜索 USB 相关日志
dmesg | grep -i "usb" | tail -20

# 典型错误与解决方案：
# ─────────────────────────────────────────────────────────
# usb 1-1: device descriptor read/64, error -110
#   → 原因：USB 设备响应超时（物理连接问题）
#   → 解决：更换 USB 端口、线缆，或检查设备供电
#
# usb 1-1: device not accepting address 2, error -71
#   → 原因：USB 协议错误（设备或控制器故障）
#   → 解决：尝试其他端口，更新 xhci_hcd 驱动
#
# usbhid: probe of 1-1:1.0 failed with error -32
#   → 原因：HID 驱动不兼容
#   → 解决：卸载重载驱动：sudo modprobe -r usbhid && sudo modprobe usbhid
```

#### 案例 2：硬盘 I/O 故障诊断

```
# 查看磁盘错误（以 sda 为例）
dmesg -l err | grep "sda"

# 关键错误模式：
# ─────────────────────────────────────────────────────────
# Buffer I/O error on dev sda, logical block 12345678
#   → 物理坏块，立即备份数据，更换硬盘
#
# EXT4-fs error (device sda1): ext4_lookup: deleted inode referenced
#   → 文件系统损坏，尝试 fsck 修复
#
# ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x40000000 action 0x6 frozen
#   → SATA 链路错误，检查数据线和电源
```

#### 案例 3：内存故障与 OOM 诊断

```
# 内存相关日志
dmesg | grep -iE "memory|oom|hardware.error" | tail -30

# 典型场景：
# ─────────────────────────────────────────────────────────
# Out of memory: Kill process 1234 (python) score 912 or sacrifice child
#   → OOM Killer 触发，进程被强制终止
#   → 解决：增加物理内存、添加 Swap、优化应用内存使用
#
# Hardware Error: Corrected error, no action required.
#   → ECC 内存自动纠正错误（可接受）
#   → 监控：若频繁出现，预示内存条老化
#
# Hardware Error: Machine check events logged
#   → 不可纠正的硬件错误
#   → 立即检查：mcelog --client 或 edac-util -v
```

#### 案例 4：网卡与网络故障

```
# 网卡驱动日志
dmesg | grep -iE "eth|ens|wlan|network" | tail -20

# 典型问题：
# ─────────────────────────────────────────────────────────
# eth0: Link is Down
#   → 物理链路断开，检查网线、交换机端口
#
# ixgbe 0000:01:00.0: NIC Link is Up 10 Gbps, Flow Control: RX/TX
#   → 网卡正常工作，10Gbps 链路已建立
```

### 2.4 日志导出与持久化

```
# 导出完整日志到文件
dmesg > /var/log/dmesg-$(date +%F-%H%M).log

# 导出带时间戳的日志
dmesg -T > /var/log/dmesg-readable.log

# 定期归档（cron 任务）
# /etc/cron.d/dmesg-backup
0 */6 * * * root /bin/dmesg -T > /var/log/dmesg-archive-$(date +\%F-\%H).log
```

------

## 三、journalctl：systemd 时代的日志中心

### 3.1 journalctl 与 dmesg 的关系

| 特性         | dmesg                | journalctl                         |
| ------------ | -------------------- | ---------------------------------- |
| **数据来源** | 内核环形缓冲区       | systemd-journald（内核+用户态）    |
| **存储位置** | 内存（/dev/kmsg）    | 内存（/run/log）或磁盘（/var/log） |
| **日志范围** | 仅内核日志           | 内核 + 所有 systemd 服务           |
| **持久化**   | 需手动导出           | 原生支持持久化配置                 |
| **查询能力** | 简单过滤             | 强大的结构化查询                   |
| **性能**     | 极高（直接内存访问） | 高（二进制索引）                   |

**关键认知**：journalctl 包含 dmesg 的内容，但 dmesg 不包含 journalctl 的用户态日志。

### 3.2 journalctl 基础用法

#### 查看启动日志

```
# 查看当前启动的所有日志（内核+服务）
journalctl

# 查看上一次启动
journalctl -b -1

# 查看特定启动（需启用持久化）
journalctl --list-boots
# -1 ... Mon 2023-10-23 09:15:23 CST—Mon 2023-10-23 18:30:45 CST
#  0 ... Tue 2023-10-24 08:00:12 CST—Tue 2023-10-24 17:45:30 CST

journalctl -b -2  # 查看上上次启动
```

#### 时间范围过滤

```
# 绝对时间
journalctl --since "2023-10-27 17:15:00" --until "2023-10-27 18:00:00"

# 相对时间
journalctl --since "1 hour ago"
journalctl --since "yesterday" --until "today"
journalctl --since "2023-10-01" --until "2 days ago"

# 仅今天
journalctl --since today
```

#### 按服务/单元过滤

```
# 查看特定服务
journalctl -u nginx.service
journalctl -u sshd.service -f  # 实时跟踪

# 查看多个服务
journalctl -u nginx.service -u php-fpm.service

# 查看系统初始化（无服务单元）
journalctl -p err -b  # 启动错误
```

### 3.3 高级过滤技巧

#### 按优先级过滤

```
# 仅错误及以上（与 dmesg -l err 类似，但包含用户态）
journalctl -p err

# 优先级名称或数字
journalctl -p 3          # err
journalctl -p warning    # 4
journalctl -p 0..3       # emerg 到 err
```

#### 按字段过滤（结构化查询）

```
# 按进程名
journalctl _COMM=nginx

# 按可执行文件路径
journalctl _EXE=/usr/bin/python3

# 按 PID
journalctl _PID=1234

# 按命令行参数（查找特定脚本）
journalctl _CMDLINE="/usr/bin/python3 /app/server.py"

# 按 syslog 标识
journalctl SYSLOG_IDENTIFIER=kernel  # 等价于 dmesg
```

#### 组合查询

```
# 复杂条件：nginx 服务，昨天，错误级别
journalctl -u nginx.service --since yesterday -p err

# 特定时间段 + 特定服务 + 实时跟踪
journalctl -u myapp.service --since "10 minutes ago" -f
```

### 3.4 输出格式控制

```
# 详细输出（含所有元数据）
journalctl -o verbose

# JSON 格式（程序化解析）
journalctl -u myapp -o json | jq '.MESSAGE'

# 短格式（类似传统 syslog）
journalctl -o short

# 仅消息内容（无时间戳等）
journalctl -o cat
```

------

## 四、日志持久化配置（生产必备）

### 4.1 默认行为的局限

默认情况下，systemd-journald 将日志存储在 **内存中**（`/run/log/journal`），重启后丢失。对于服务器故障排查，必须启用**持久化存储**。

### 4.2 启用持久化日志

```
# 步骤 1：创建持久化目录
sudo mkdir -p /var/log/journal

# 步骤 2：重启服务（自动检测并迁移）
sudo systemctl restart systemd-journald

# 验证
ls -la /var/log/journal/
# 应出现类似：systemd-journald-a1b2c3d4e5f67890.journal
```

### 4.3 高级配置（/etc/systemd/journald.conf）

```
[Journal]
# 存储模式：volatile（内存）、persistent（磁盘）、auto（自动检测）
Storage=persistent

# 磁盘空间限制（持久存储）
SystemMaxUse=5G          # 最大占用 5GB
SystemKeepFree=10G       # 保留 10GB 空闲空间
SystemMaxFileSize=100M   # 单个日志文件最大 100MB

# 内存限制（运行时）
RuntimeMaxUse=500M       # 内存中最多 500MB
RuntimeMaxFileSize=50M   # 运行时单个文件 50MB

# 保留策略
MaxRetentionSec=1month   # 保留 1 个月
MaxFileSec=1week         # 单个文件最长 1 周

# 压缩
Compress=yes             # 启用压缩，节省空间

# 转发到传统 syslog（兼容旧系统）
ForwardToSyslog=yes
```

应用配置：

```
sudo systemctl restart systemd-journald
```

### 4.4 日志清理与维护

```
# 查看当前磁盘占用
journalctl --disk-usage
# Archived and active journals take up 2.8G in the file system.

# 按大小清理（保留最近 1GB）
sudo journalctl --vacuum-size=1G

# 按时间清理（保留最近 1 年）
sudo journalctl --vacuum-time=1years

# 按文件数清理（保留最近 10 个启动）
sudo journalctl --vacuum-files=10
```

------

## 五、综合排查实战

### 场景：系统启动缓慢

```
# 步骤 1：分析启动耗时
systemd-analyze blame
# 3.456s NetworkManager-wait-online.service
# 2.123s docker.service
# 1.987s postgresql.service

# 步骤 2：查看启动过程中的错误
journalctl -b -p err

# 步骤 3：查看特定服务的详细启动日志
journalctl -u NetworkManager-wait-online.service -b

# 步骤 4：结合 dmesg 查看硬件初始化
dmesg -l warn,err | grep -E "eth|wlan|nvme"
```

### 场景：服务崩溃无日志

```
# 步骤 1：扩大日志范围（可能崩溃前已有异常）
journalctl -u myapp.service --since "10 minutes ago" -p debug

# 步骤 2：查看内核是否记录异常（OOM、段错误）
dmesg -T | grep -E "killed|segfault|oom"

# 步骤 3：查看 audit 日志（SELinux/AppArmor 拦截）
sudo ausearch -ts recent -m avc
```

------

## 六、工具对比速查表

| 任务                 | 推荐工具   | 命令                                   |
| -------------------- | ---------- | -------------------------------------- |
| 快速查看内核错误     | dmesg      | `dmesg -l err,warn -T`                 |
| 实时跟踪内核日志     | dmesg      | `dmesg --follow-new`                   |
| 查看服务完整生命周期 | journalctl | `journalctl -u nginx.service`          |
| 分析启动问题         | journalctl | `journalctl -b -p err`                 |
| 跨重启追溯问题       | journalctl | `journalctl -b -1 --since "10:00"`     |
| 导出结构化日志       | journalctl | `journalctl -o json > logs.json`       |
| 高性能实时监控       | dmesg      | `dmesg -w`（比 journalctl -k -f 更快） |

内核日志dmesg和journalctl

## 一、GRUB 基础概念

### 1.1 什么是 GRUB？

GRUB 是 **Linux 系统最常用的启动引导程序**，负责：

| 阶段          | 功能                             | 存储位置                     |
| ------------- | -------------------------------- | ---------------------------- |
| **Stage 1**   | BIOS/UEFI 加载 GRUB 核心         | MBR（主引导记录）或 EFI 分区 |
| **Stage 1.5** | 文件系统驱动，加载 Stage 2       | /boot/grub 附近              |
| **Stage 2**   | 完整功能：菜单、命令行、加载内核 | `/boot/grub/`                |

### 1.2 GRUB 版本对比

| 特性      | GRUB Legacy (GRUB 0.97) | **GRUB 2 (推荐)**                    |
| --------- | ----------------------- | ------------------------------------ |
| 配置文件  | `/boot/grub/menu.lst`   | `/boot/grub/grub.cfg`（自动生成）    |
| 配置源    | 直接编辑                | `/etc/default/grub` + `/etc/grub.d/` |
| 脚本支持  | 有限                    | 完整 Bash-like 语法                  |
| UEFI 支持 | ❌                       | ✅                                    |
| 模块化    | 弱                      | 强（按需加载驱动）                   |

**现代发行版（Ubuntu 20.04+、RHEL 8+、Debian 11+）全部使用 GRUB 2**。

------

## 二、GRUB 界面详解

### 2.1 启动菜单界面

```
┌─────────────────────────────────────────────────────────┐
│  GNU GRUB  version 2.06                                 │
│                                                         │
│  ┌─────────────────────────────────────────────────┐   │
│  │ * Ubuntu                                        │   │
│  │   Advanced options for Ubuntu                   │   │
│  │   Windows Boot Manager (on /dev/nvme0n1p1)      │   │
│  │   UEFI Firmware Settings                        │   │
│  └─────────────────────────────────────────────────┘   │
│                                                         │
│  Use the ↑ and ↓ keys to select which entry is        │
│  highlighted. Press enter to boot the selected OS,    │
│  'e' to edit the commands before booting or 'c' for   │
│  a command-line.                                       │
│                                                         │
│  The highlighted entry will be executed automatically  │
│  in 10s.                                              │
│                                                         │
└─────────────────────────────────────────────────────────┘
```

**按键功能**：

| 按键             | 功能                                   |
| ---------------- | -------------------------------------- |
| `↑` / `↓`        | 选择启动项                             |
| `Enter`          | 启动选中项                             |
| `e`              | **编辑当前启动项**（临时修改，不保存） |
| `c`              | **进入命令行模式**（GRUB Shell）       |
| `Esc`            | 返回上一级菜单                         |
| `F10` / `Ctrl+X` | 编辑后启动（在编辑界面）               |

### 2.2 编辑界面（按 `e` 进入）

```
┌─────────────────────────────────────────────────────────┐
│  setparams 'Ubuntu'                                     │
│                                                         │
│  recordfail                                             │
│  load_video                                             │
│  gfxmode $linux_gfx_mode                                │
│  insmod gzio                                            │
│  if [ x$grub_platform = xxen ]; then insmod xzio; fi    │
│  insmod part_gpt                                        │
│  insmod ext2                                            │
│  search --no-floppy --fs-uuid --set=root 1234-5678      │
│  linux   /vmlinuz-5.15.0-76-generic root=UUID=xxx ro    │
│  initrd  /initrd.img-5.15.0-76-generic                  │
│                                                         │
│  ┌─────────────────────────────────────────────────┐   │
│  │ Ctrl+X or F10: boot    Ctrl+C or F2: command   │   │
│  │ ESC: discard edits                              │   │
│  └─────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────┘
```

**关键行解析**：

| 行                       | 作用                                             |
| ------------------------ | ------------------------------------------------ |
| `linux /vmlinuz-...`     | 指定内核镜像路径和启动参数                       |
| `root=UUID=xxx`          | 根文件系统位置                                   |
| `ro`                     | 以只读方式挂载根（后续 initramfs 会 remount rw） |
| `initrd /initrd.img-...` | 指定初始化内存盘                                 |
| `quiet splash`           | 静默启动+显示动画（删除可看到详细启动日志）      |

### 2.3 命令行模式（按 `c` 进入）

```
grub> ls                    # 列出所有设备和分区
grub> ls (hd0,gpt1)/        # 查看 (hd0,gpt1) 分区的根目录
grub> ls (hd0,gpt1)/boot/   # 查看 /boot 目录

grub> set root=(hd0,gpt2)   # 设置根分区
grub> linux /vmlinuz-5.15.0-76-generic root=/dev/nvme0n1p2 ro
grub> initrd /initrd.img-5.15.0-76-generic
grub> boot                  # 启动
```

**常用命令**：

| 命令                         | 功能                 |
| ---------------------------- | -------------------- |
| `ls`                         | 列出设备、分区、文件 |
| `set root=(hdX,gptY)`        | 设置根分区           |
| `linux /path/to/vmlinuz ...` | 加载内核             |
| `initrd /path/to/initrd`     | 加载初始化内存盘     |
| `boot`                       | 启动系统             |
| `cat /etc/fstab`             | 查看文件内容         |
| `help`                       | 查看帮助             |
| `reboot`                     | 重启                 |
| `halt`                       | 关机                 |

------

## 三、GRUB 配置定制

### 3.1 配置文件结构

```
/etc/grub.d/                    # 配置脚本目录（按数字顺序执行）
├── 00_header                   # 头部信息、环境设置
├── 05_debian_theme             # 主题/背景图（Ubuntu）
├── 10_linux                    # Linux 内核启动项（自动生成）
├── 20_linux_xen                # Xen 虚拟化支持
├── 30_os-prober                # 探测其他操作系统（Windows）
├── 30_uefi-firmware            # UEFI 固件设置入口
├── 40_custom                   # 用户自定义项（推荐在此添加）
└── 41_custom                   # 自定义项备份

/etc/default/grub               # 主配置文件（修改后需 update-grub）
/boot/grub/grub.cfg             # 生成的最终配置（不要直接编辑！）
```

### 3.2 常用配置修改

#### 修改 `/etc/default/grub`

```
sudo nano /etc/default/grub

# 关键配置项：
GRUB_DEFAULT=0                    # 默认启动项（0=第一个）
GRUB_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 5.15.0-76-generic"  # 指定内核

GRUB_TIMEOUT=10                   # 菜单显示时间（秒），-1=无限等待
GRUB_TIMEOUT_STYLE=menu           # menu/countdown/hidden

GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"   # 默认启动参数
GRUB_CMDLINE_LINUX=""             # 附加到所有启动项的参数

# 显示/隐藏菜单
GRUB_HIDDEN_TIMEOUT=0             # 隐藏菜单，直接启动
GRUB_HIDDEN_TIMEOUT_QUIET=true

# 图形界面
GRUB_GFXMODE=1920x1080            # 分辨率
GRUB_GFXPAYLOAD_LINUX=keep        # 保持图形模式

# 主题
GRUB_THEME="/boot/grub/themes/starfield/theme.txt"

# 密码保护（生产环境推荐）
GRUB_PASSWORD="grub.pbkdf2.sha512.10000.xxx"
```

#### 应用配置

```
# Debian/Ubuntu
sudo update-grub
# 或完整命令
sudo grub-mkconfig -o /boot/grub/grub.cfg

# RHEL/CentOS/Fedora
sudo grub2-mkconfig -o /boot/grub2/grub.cfg
# UEFI 系统
sudo grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
```

### 3.3 添加自定义启动项

编辑 `/etc/grub.d/40_custom`：

```
#!/bin/sh
exec tail -n +3 $0

# 启动 Windows（手动指定）
menuentry "Windows 10" {
    insmod part_gpt
    insmod fat
    insmod chain
    search --fs-uuid --set=root 1234-5678
    chainloader /EFI/Microsoft/Boot/bootmgfw.efi
}

# 启动 ISO 镜像（Live CD）
menuentry "Ubuntu Live ISO" {
    set isofile="/iso/ubuntu-22.04.iso"
    loopback loop (hd0,1)$isofile
    linux (loop)/casper/vmlinuz boot=casper iso-scan/filename=$isofile quiet
    initrd (loop)/casper/initrd
}

# 内存测试
menuentry "Memory Test (Memtest86+)" {
    linux16 /boot/memtest86+.bin
}
```

然后执行 `sudo update-grub`。

### 3.4 启动菜单美化

```
# 安装主题
sudo add-apt-repository ppa:daniruiz/flat-remix
sudo apt install flat-remix-grub

# 或手动安装
sudo git clone https://github.com/vinceliuice/grub2-themes.git /tmp/grub2-themes
cd /tmp/grub2-themes
sudo ./install.sh -t vimix -s 1080p

# 修改配置启用
sudo nano /etc/default/grub
GRUB_THEME="/boot/grub/themes/vimix/theme.txt"

sudo update-grub
```

------

## 四、GRUB 故障修复

### 4.1 常见故障场景

| 现象                        | 原因                  | 修复方法                        |
| --------------------------- | --------------------- | ------------------------------- |
| `error: file not found`     | 内核文件被删除或移动  | GRUB 命令行手动指定正确路径     |
| `error: unknown filesystem` | GRUB 不支持该文件系统 | 安装对应 fs 模块，或重建 GRUB   |
| `grub>` 提示符（无菜单）    | `grub.cfg` 损坏或丢失 | 命令行手动启动，或 Live CD 修复 |
| `grub rescue>` 提示符       | Stage 1.5/2 损坏      | 使用 Live CD 完整重装 GRUB      |
| 直接进入 Windows，无 Linux  | UEFI 启动顺序被覆盖   | 调整 UEFI 启动项，或修复 GRUB   |
| 启动后黑屏                  | 显卡驱动问题          | 编辑启动参数添加 `nomodeset`    |

### 4.2 紧急修复：GRUB 命令行启动系统

当 GRUB 菜单损坏，只剩 `grub>` 提示符时：

```
# 步骤 1：找到根分区
grub> ls
(hd0) (hd0,gpt1) (hd0,gpt2) (hd0,gpt3)

grub> ls (hd0,gpt2)/
# 看到 vmlinuz 和 initrd.img = 找到根分区

# 步骤 2：设置变量
grub> set root=(hd0,gpt2)
grub> set prefix=(hd0,gpt2)/boot/grub

# 步骤 3：加载内核（根据实际版本调整）
grub> linux /vmlinuz-5.15.0-76-generic root=/dev/nvme0n1p2 ro
# 或先用 UUID（更可靠）
grub> linux /vmlinuz-5.15.0-76-generic root=UUID=xxxxx ro

# 步骤 4：加载初始化内存盘
grub> initrd /initrd.img-5.15.0-76-generic

# 步骤 5：启动
grub> boot
```

进入系统后，**立即修复 GRUB**：

```
sudo update-grub
sudo grub-install /dev/nvme0n1  # 安装到磁盘，不是分区！
```

### 4.3 Live CD 完整修复

```
# 1. 从 Ubuntu Live USB 启动，选择 "Try Ubuntu"

# 2. 打开终端，查看磁盘
sudo fdisk -l
# 找到 Linux 根分区，如 /dev/nvme0n1p2

# 3. 挂载根分区
sudo mount /dev/nvme0n1p2 /mnt

# 4. 挂载其他必要文件系统
sudo mount /dev/nvme0n1p1 /mnt/boot/efi  # UEFI 系统
sudo mount --bind /dev /mnt/dev
sudo mount --bind /proc /mnt/proc
sudo mount --bind /sys /mnt/sys

# 5. chroot 进入系统
sudo chroot /mnt

# 6. 重新安装 GRUB
grub-install /dev/nvme0n1
update-grub

# 7. 退出并重启
exit
sudo reboot
```

### 4.4 重置 root 密码

```
# 在 GRUB 菜单按 'e' 编辑启动项

# 找到 linux 开头的那行，在行末添加：
init=/bin/bash

# 按 Ctrl+X 或 F10 启动

# 进入 root shell（无密码！）
# 根分区是只读的，重新挂载
mount -o remount,rw /

# 修改密码
passwd root

# 重启
exec /sbin/init
```

------

## 五、UEFI 与 Legacy BIOS 差异

| 特性          | Legacy BIOS             | UEFI                                                         |
| ------------- | ----------------------- | ------------------------------------------------------------ |
| 分区表        | MBR                     | GPT                                                          |
| 启动文件位置  | MBR 前 446 字节         | EFI 系统分区（ESP）                                          |
| GRUB 安装目标 | `/dev/sda`（磁盘）      | `/dev/sda1`（ESP 分区）                                      |
| 安装命令      | `grub-install /dev/sda` | `grub-install --target=x86_64-efi --efi-directory=/boot/efi --bootloader-id=ubuntu` |
| 配置文件路径  | `/boot/grub/grub.cfg`   | `/boot/efi/EFI/ubuntu/grub.cfg`                              |
| 安全启动      | 不支持                  | 支持（可能需关闭或 shim）                                    |

**UEFI 专用修复**：

```
# 重新安装 UEFI 版本的 GRUB
sudo grub-install --target=x86_64-efi --efi-directory=/boot/efi --bootloader-id=ubuntu --recheck

# 更新 NVRAM 启动项
sudo efibootmgr -v  # 查看当前项
sudo update-grub
```

------

## 六、GRUB 安全加固

### 6.1 设置启动密码

```
# 生成密码哈希
grub-mkpasswd-pbkdf2
# 输入密码，复制生成的哈希

sudo nano /etc/grub.d/40_custom
set superusers="admin"
password_pbkdf2 admin grub.pbkdf2.sha512.10000.xxxxxx

# 限制普通用户编辑
sudo nano /etc/grub.d/10_linux
# 在 menuentry 块中添加 --users '' 表示需要密码
menuentry 'Ubuntu' --users '' {
    ...
}

sudo update-grub
```

### 6.2 禁用恢复模式

```
sudo nano /etc/default/grub
GRUB_DISABLE_RECOVERY="true"

sudo update-grub
```



一、为什么需要离线安装特定版本？

1.1 场景分析：apt 安装的隐患

一、Docker 是什么？容器化技术的革命

1.1 从物理机到容器的演进

一、内核日志的存储机制：环形缓冲区

1.1 什么是环形缓冲区（Ring Buffer

一、GRUB 基础概念

1.1 什么是 GRUB？