​	起因是内部自用的一台低配置 **ansible** 发布机器在使用时，发现**CPU**使用率异常，同时**htop命令**并没有发现异常进程

![img](/static/img/CPU异常排查/1772001046633.png)



#### 问题现象

1. 服务器重启后**CPU**立即占满
2. **htop**显示负载极高（Load average：8+）
3. 实际进程列表所有进程CPU占用极少

关键在于

```
load average: 8.04 7.82 5.40	<- 系统繁忙
%CPU(s)：100.0 us				<- CPU 100%用户态
但是所有进程的 %CPU 几乎均是 0.0	<- 无进程认领
```



#### 排查过程

##### 步骤1. 常规排查

```
# 查看CPU占用进程
ps -eo pid,ppid,%cpu,%mem,cmd --sort=-%cpu | head
```

![img](/static/img/CPU异常排查/1772003479193.png)

没有发现高占用**CPU**的进程，所以这里可以再增加一点发现：**ps**命令看不到高CPU消耗进程

这里想到了既然这个服务是开机自启的同时**ps**命令也看不到高消耗进程，那么会不会是封装成了**services**服务？

```
# 查看系统服务
systemctl list-units --type=service --state=running
```

刚好还真是

![img](/static/img/CPU异常排查/1772003843111.png)

```
该服务存在的疑点是：
	mem-tracker 伪装成内存跟踪工具
	描述为"Example systemd service." 这个是未修改的模板描述
	这个不是系统自带的服务（机器未增加过自启服务）
```

验证是否该服务问题

```
top -p $(systemctl show mem-tracker.service --property=MainPID --value)
```

![img](/static/img/CPU异常排查/1772004170877.png)

```
# 进程号为8165，尝试kill该进程，观察CPU是否会被释放、
sudo kill 8165
```

![img](/static/img/CPU异常排查//1772004270236.png)

杀死该进程后，**CPU**确实被释放了，不过很快就重新被占满，同时更换了进程号，这里就可以确定是该服务的问题。**CPU**重新被占满和开机**CPU**自动被占满的情况相同，应该是通过配置定时任务进行的

![img](/static/img/CPU异常排查/1772004376251.png)



##### 步骤2. 深挖定时任务

```
crontab -l
```

![img](/static/img/CPU异常排查/1772004579593.png)

现在被攻击的路径很清晰

| 层级         | 持久化机制  | 执行文件                 |
| ------------ | ----------- | ------------------------ |
| 用户 crontab | 每周五23:00 | `/home/user/dealer`      |
| 用户 crontab | 每周五23:00 | `/home/user/.cfg/dealer` |
| root crontab | 每月执行    | `/home/user/.cfg/dealer` |
| systemd      | 开机自启    | `mem-tracker.service`    |

##### 步骤3：技术分析

**为什么top看不到高CPU进程？**

1. **进程快速退出重启**：挖矿程序可能设计成间歇运行，躲避监控
2. **多进程分散消耗**：启动多个子进程，每个占用少量CPU
3. **内核模块隐藏**：可能使用rootkit技术隐藏进程
4. **容器/命名空间隔离**：在独立namespace中运行

**负载与CPU显示分离的原因：**

- Load average统计的是**运行队列长度**（包括等待CPU的进程）
- 恶意程序可能创建大量线程处于`R`（运行）或`D`（不可中断睡眠）状态
- 这些进程在采样间隙退出，导致`top`看不到



#### 解决方案

##### 阶段1： 立即停止

```
# 1. 停止所有恶意进程
sudo pkill -9 -f "dealer|mem-track|miner"

# 2. 停止可疑服务
sudo systemctl stop mem-tracker.service

# 3. 验证停止
ps aux | grep -E "dealer|mem-track" | grep -v grep
```

这里可以看到**CPU**已经完全被释放

![img](/static/img/CPU异常排查/1772005016731.png)



##### 阶段2： 彻底清除

```
#!/bin/bash
# cleanup_malware.sh - 完整清理脚本

echo "=== 恶意软件清理脚本 ==="

# 1. 删除恶意文件
echo "[1/5] 删除恶意文件..."
sudo rm -f /home/user/dealer
sudo rm -rf /home/user/.cfg/
sudo find /tmp -name "*miner*" -o -name "*dealer*" -exec rm -f {} \; 2>/dev/null

# 2. 清理定时任务
echo "[2/5] 清理定时任务..."
crontab -r                    # 清理用户任务
sudo crontab -r               # 清理root任务
sudo rm -f /etc/cron.d/*backdoor* 2>/dev/null

# 3. 清理systemd服务
echo "[3/5] 清理系统服务..."
sudo systemctl stop mem-tracker.service 2>/dev/null
sudo systemctl disable mem-tracker.service 2>/dev/null
sudo rm -f /etc/systemd/system/mem-tracker.service
sudo systemctl daemon-reload

# 4. 检查其他隐藏项
echo "[4/5] 检查启动项..."
sudo rm -f /etc/rc.local
ls -la /etc/init.d/ | grep -E "dealer|miner|track"

# 5. 验证清理
echo "[5/5] 验证..."
echo "剩余可疑进程:"
ps aux | grep -E "dealer|mem-track|miner" | grep -v grep || echo "✓ 无恶意进程"

echo "定时任务:"
crontab -l 2>/dev/null || echo "✓ 用户任务已清空"
sudo crontab -l 2>/dev/null || echo "✓ root任务已清空"
```

![img](/static/img/CPU异常排查/1772005268017.png)

执行脚本后，可以根据前面步骤检查是否完整清除



##### 阶段3：安全加固（可选）

```
# 1. 修改所有密码
sudo passwd user
sudo passwd root

# 2. 审查SSH安全
cat ~/.ssh/authorized_keys          # 删除未知密钥
last | head -20                     # 查看最近登录
sudo cat /var/log/auth.log | grep "Accepted" | tail -20

# 3. 禁用root远程登录
sudo sed -i 's/^#*PermitRootLogin.*/PermitRootLogin no/' /etc/ssh/sshd_config
sudo systemctl restart sshd

# 4. 安装防护工具
sudo apt install fail2ban -y
sudo systemctl enable fail2ban --now

# 5. 设置监控告警
# 创建CPU监控脚本
cat << 'EOF' | sudo tee /usr/local/bin/cpu_monitor.sh
#!/bin/bash
LOAD=$(cat /proc/loadavg | awk '{print $1}')
if (( $(echo "$LOAD > 4" | bc -l) )); then
    echo "High load alert: $LOAD at $(date)" | logger
    # 可添加邮件/钉钉告警
fi
EOF
sudo chmod +x /usr/local/bin/cpu_monitor.sh
echo "*/5 * * * * root /usr/local/bin/cpu_monitor.sh" | sudo tee /etc/cron.d/cpu-monitor
```



CPU异常排查

## 一、环境准备

### 安装 Ansible

在 Ubuntu 系统上安装 Ansible 及相关依赖：

```
# 1. 更新软件包索引
sudo apt update -y

# 2. 安装 ansible
sudo apt install -y ansible

# 3. 安装 sshpass（用于密码认证场景）
sudo apt install -y sshpass
```

**说明：**

- `sshpass` 用于在命令行中传递 SSH 密码，适用于初次配置或无法使用密钥认证的环境
- 生产环境建议优先使用 SSH 密钥认证，避免明文密码

------

## 二、批量修改密码（chang_password.tar.gz）

### 场景说明

当需要批量修改多台服务器的用户密码时，直接使用明文密码存在安全隐患。推荐使用 **SHA512 哈希值** 进行密码设置，避免密码在剧本中暴露。

### 生成密码哈希

```
# 交互输入新密码，得到 sha512 哈希
openssl passwd -6
# 输入：NewPass123
# 输出：$6$rounds=5000$abc123...
```

### 配置 Inventory 文件

创建 `hosts` 文件定义目标主机：

```
[gpu-nodes-1]
10.73.103.160

[gpu-nodes-2]
10.73.103.157

[gpu-nodes-1:vars]
ansible_user=user
ansible_password=userroots

[gpu-nodes-2:vars]
ansible_user=user
ansible_password=1qaz@WSX3edc

[all:vars]
ansible_port=9922
ansible_ssh_common_args="-o StrictHostKeyChecking=no"
ansible_ssh_control_path=/dev/null
ansible_ssh_pipelining=no
```

### Ansible 剧本示例

```
---
- name: Batch change user password
  hosts: all
  become: yes                 # 需要 root 权限改 /etc/shadow
  vars:
    target_user: user         # 要改密码的账号
  tasks:
    - name: Update password for {{ target_user }}
      ansible.builtin.user:
        name: "{{ target_user }}"
        password: "$6$hmFeP8jD4afe0rbQ$cfjKJAMeYA7NiaGLLLVO3sY41l1RRCDXVL.lrpHF0CgR5.eImvk.ImCeq6BnK8I.ZKJvOT9trkV1mwtcqAUyB1"
        update_password: always
      notify: restart ssh

  handlers:
    - name: restart ssh
      ansible.builtin.systemd:
        name: sshd
        state: restarted
```

### 使用方法

```
ansible-playbook change_password.yml -i hosts 
```

------

## 三、账密检查（check_password.tar.gz）

### 场景说明

定期验证服务器账号密码的有效性，及时发现密码过期、账号锁定等问题。

### 配置 Inventory 文件

创建 `hosts` 文件定义目标主机：

```
[gpu-nodes-1]
10.73.103.160

[gpu-nodes-2]
10.73.103.157

[gpu-nodes-1:vars]
ansible_user=user
ansible_password=userroots

[gpu-nodes-2:vars]
ansible_user=user
ansible_password=1qaz@WSX3edc

[all:vars]
ansible_port=9922
ansible_ssh_common_args="-o StrictHostKeyChecking=no"
ansible_ssh_control_path=/dev/null
ansible_ssh_pipelining=no
```

```
---
- name: Batch verify password login
  hosts: all
  gather_facts: no          # 加快执行
  tasks:
    - name: Ping host with given password
      ansible.builtin.ping:
      register: ping_result

    - name: Print reachability
      ansible.builtin.debug:
        msg: "{{ inventory_hostname }}  password-login  {{ 'SUCCESS' if ping_result.ping == 'pong' else 'FAILED' }}"
```

### 执行检查

```
# 使用加密密码文件
ansible-playbook check_password.yml -i hosts --vault-password-file .vault_pass
```

------

## 四、SSH 配置管理（chang_ssh.tar.gz）

### 场景说明

统一加固 SSH 服务配置，包括禁用 root 登录、修改端口、限制算法等。

### 配置 Inventory 文件

创建 `hosts` 文件定义目标主机：

```
;[gpu-nodes-1]
;10.73.103.160

[gpu-nodes-2]
10.73.103.158

;[gpu-nodes-1:vars]
;ansible_user=user
;ansible_password=userroot

[gpu-nodes-2:vars]
ansible_user=user
ansible_password=userroots

[all:vars]
ansible_port=22
ansible_ssh_common_args="-o StrictHostKeyChecking=no"
ansible_ssh_control_path=/dev/null
ansible_ssh_pipelining=no
```

```
---
- name: Memory execute chang_ssh.sh (zero residue)
  hosts: all
  become: yes
  serial: 1                 # 逐台，防锁死
  vars:
    script_local: ./chang_ssh.sh   # 本地路径
  tasks:
    - name: 1. 内存执行脚本（远程无落盘）
      ansible.builtin.script:
        cmd: "{{ script_local }}"
      register: script_out
      timeout: 120
      changed_when: true

    - name: 2. 打印脚本返回
      ansible.builtin.debug:
        msg: |
          {{ inventory_hostname }} 脚本返回:
          stdout: {{ script_out.stdout }}
          stderr: {{ script_out.stderr }}
          rc: {{ script_out.rc }}

    - name: 3. 语法检查失败 → 立即回滚（内存）
      ansible.builtin.script:
        cmd: "{{ script_local }} rollback"   # 你的脚本支持 rollback 参数
      when: script_out.rc != 0
      failed_when: false   # 回滚本身失败也不 stop

    - name: 4. 脚本成功 → 校验新端口连通性
      ansible.builtin.wait_for:
        port: 9922
        host: "{{ inventory_hostname }}"
        delay: 3
        timeout: 30
      delegate_to: localhost
      when: script_out.rc == 0
      register: wait_result

    - name: 5. 连通失败 → 内存回滚
      ansible.builtin.script:
        cmd: "{{ script_local }} rollback"
      delegate_to: localhost
      when:
        - script_out.rc == 0
        - wait_result is failed
```

### chang_ssh.sh脚本

```
#!/bin/bash
# File:  chang_ssh.sh
# Usage: sudo bash chang_ssh.sh
#        sudo bash chang_ssh.sh rollback

set -euo pipefail

BACKUP="/etc/ssh/sshd_config.bak.$(date +%F_%T)"
TEST_CONF="/etc/ssh/sshd_config.d/test.conf"

# ========== 正式逻辑 ==========
if [[ "${1:-}" != "rollback" ]]; then
    echo "==== 1. 备份原配置 ===="
    cp /etc/ssh/sshd_config "$BACKUP"
    echo "已备份到 $BACKUP"

    echo "==== 2. 创建 test.conf ===="
    cat > "$TEST_CONF" <<'EOF'
PermitRootLogin no
PasswordAuthentication yes
Port 9922
EOF

    echo "==== 3. 修改主配置，仅加载 test.conf ===="
    sed -i "s|^Include /etc/ssh/sshd_config\\.d/\\*\\.conf$|Include $TEST_CONF|" /etc/ssh/sshd_config

    echo "==== 4. 语法检查 ===="
    if ! sshd -t; then
        echo "❌ 配置有误，未重启 sshd，请检查"
        exit 1
    fi

    echo "==== 5. 重启 sshd ===="
    systemctl restart sshd

    echo "✅ 已切换为仅加载 $TEST_CONF"
    echo "确认生效值："
    sshd -T | grep -E '^(port|permitrootlogin|passwordauthentication)'
    exit 0
fi

# ========== 回滚逻辑 ==========
latest_bak=$(ls -t /etc/ssh/sshd_config.bak.* 2>/dev/null | head -n1)
if [[ -z "$latest_bak" ]]; then
    echo "❌ 未找到备份文件，无法回滚"
    exit 1
fi
cp "$latest_bak" /etc/ssh/sshd_config
rm -f /etc/ssh/sshd_config.d/test.conf
systemctl restart sshd
echo "🔙 已回滚到 $latest_bak"
```



### 安全提示

⚠️ **重要**：修改 SSH 配置前务必：

1. 开启多终端会话，防止配置错误导致无法连接
2. 先测试配置语法 (`sshd -t`)
3. 保留备份文件
4. 使用 `ignore_errors: yes` 和 `serial: 1` 分批执行

------

## 五、用户管理（add_user.tar.gz）

### 场景说明

批量创建系统用户并配置 sudo 权限，适用于新员工入职或临时账号场景。

### 生成密码哈希

```
# 交互输入新密码，得到 sha512 哈希
openssl passwd -6
# 输入：NewPass123
# 输出：$6$rounds=5000$abc123...
```

### 配置 Inventory 文件

创建 `hosts` 文件定义目标主机：

```
[gpu-nodes-1]
10.73.103.160

[gpu-nodes-2]
10.73.103.157

[gpu-nodes-1:vars]
ansible_user=user
ansible_password=userroots

[gpu-nodes-2:vars]
ansible_user=user
ansible_password=userroots

[all:vars]
ansible_port=9922
ansible_ssh_common_args="-o StrictHostKeyChecking=no"
ansible_ssh_control_path=/dev/null
ansible_ssh_pipelining=no
```

```
---
- name: Batch add test account
  hosts: all
  become: yes
  vars:                       # ← 直接写这里，角色变量可删
    test_user: test
    test_uid: 0               # 0=自动
    test_home: /home/test
    test_shell: /bin/bash
    test_password: '$6$jqchN5X8WaX2a3DQ$VK9KdfYSLBPiYpaKTulsLPX8ey6sE9iKsbZf1CXdd4lj8/j5SFTk/dohvwQcmpF2mSP0Hsv5A8BEq3K/qKEAb0'         # 空=不设置密码
    test_pubkey: ''           # 空=不注入密钥
    test_sudo: yes            # yes=放 wheel + NOPASSWD

  tasks:
    - name: Create test user
      ansible.builtin.user:
        name: "{{ test_user }}"
        uid: "{{ test_uid if test_uid | int > 0 else omit }}"
        home: "{{ test_home }}"
        shell: "{{ test_shell }}"
        password: "{{ test_password if test_password else omit }}"
        state: present
        generate_ssh_key: "{{ 'yes' if not test_pubkey else 'no' }}"

    - name: Add to sudoers (wheel + NOPASSWD)
      when: test_sudo | bool
      ansible.builtin.lineinfile:
        path: /etc/sudoers
        line: "{{ test_user }} ALL=(ALL) NOPASSWD:ALL"
        validate: 'visudo -cf %s'

    - name: Deploy public key (if provided)
      when: test_pubkey | length > 0
      ansible.posix.authorized_key:
        user: "{{ test_user }}"
        state: present
        key: "{{ test_pubkey }}"

    - name: Verify account exists
      ansible.builtin.command: getent passwd {{ test_user }}
      register: verify
      changed_when: false

    - name: Print verification result
      ansible.builtin.debug:
        msg: "{{ inventory_hostname }} → {{ test_user }}(UID={{ verify.stdout.split(':')[2] }}) 创建完成"
```

### 执行创建

```
ansible-playbook add_user.yml -i hosts
```

------

## 六、SSH 密钥管理（免密登录）

### 6.1 单机器配置（手动方式）

适用于管理机首次配置或少量机器场景：

```
# 本地一次性生成密钥对（推荐 ed25519 算法）
ssh-keygen -t ed25519 -C "mypc_$(whoami)" -f ~/.ssh/id_ed25519

# 方式一：使用 ssh-copy-id（推荐）
ssh-copy-id -i ~/.ssh/id_ed25519.pub user@<IP>

# 方式二：手动复制公钥（适用于无 ssh-copy-id 的环境）
cat ~/.ssh/id_ed25519.pub | ssh user@<IP> 'mkdir -p ~/.ssh && chmod 700 ~/.ssh && cat >> ~/.ssh/authorized_keys && chmod 600 ~/.ssh/authorized_keys'
```

------

## 七、快速命令参考

```
# 测试连通性
ansible all -i hosts -m ping

# 批量执行命令
ansible servers -i hosts -a "uptime" -f 10

# 使用特定用户和密钥
ansible-playbook site.yml -i hosts -u admin --private-key ~/.ssh/ansible_key

# 语法检查
ansible-playbook --syntax-check site.yml

# 试运行（不实际执行）
ansible-playbook --check site.yml

# 需配置的机器不能免密使用sudo时
ansible-playbook init.yml -i ./hosts --ask-pass --ask-become-pass
```

------



常用ansible剧本

## 一、为什么需要离线安装特定版本？

### 1.1 场景分析：apt 安装的隐患

```
# 传统 apt 安装的问题
sudo apt install mysql-server
# 实际安装的是 Ubuntu 仓库维护的版本，可能：
# - 版本滞后（Ubuntu 22.04 默认 MySQL 8.0.35，而非最新 8.4.3）
# - 补丁级别不可控（自动更新可能引入未测试的变更）
# - 依赖冲突（与现有 Percona/MariaDB 组件不兼容）
```

### 1.2 离线安装的核心价值

| 场景          | 风险                             | 离线安装优势       |
| ------------- | -------------------------------- | ------------------ |
| 生产环境      | `apt upgrade` 自动升级导致不兼容 | 版本锁定，变更可控 |
| 内网/隔离环境 | 无外网访问，无法 apt             | 提前下载，本地部署 |
| 合规审计      | 需精确版本追溯                   | 哈希校验，来源明确 |
| 多节点集群    | 版本必须完全一致                 | 统一介质，批量复制 |
| 回滚需求      | 新版本故障需降级                 | 保留历史版本安装包 |

------

## 二、MySQL 版本选择策略

### 2.1 MySQL 版本生命周期

```
MySQL 8.0 系列（2018-2026）
├── 8.0.35 (Ubuntu 22.04 默认)
├── 8.0.36-8.0.40 (持续更新)
└── 8.0.41+ (仅安全修复)

MySQL 8.4 系列（2024 LTS，推荐新部署）
├── 8.4.0 (首个创新版)
├── 8.4.3 (本文目标版本，稳定可用)
└── 8.4.x (长期支持至 2032)

MySQL 9.0 系列（2024 创新版，非 LTS）
└── 仅建议测试环境使用
```

### 2.2 8.4.3 关键特性

| 特性             | 说明                                                 | 影响                     |
| ---------------- | ---------------------------------------------------- | ------------------------ |
| **认证插件变更** | `caching_sha2_password` 替代 `mysql_native_password` | 旧客户端需升级或显式配置 |
| **默认字符集**   | `utf8mb4` 全面替代 `latin1`                          | 中文支持更完善，存储增加 |
| **InnoDB 改进**  | 并行 DDL、优化器增强                                 | 大表操作性能提升 30%+    |
| **JSON 增强**    | 多值索引、聚合函数                                   | 文档型应用场景扩展       |
| **克隆插件**     | 物理热备份替代 XtraBackup                            | 备份架构简化             |

------

## 三、离线安装完整流程

### 3.1 环境准备与依赖分析

```
# 确认系统版本（MySQL 8.4.3 官方支持 Ubuntu 24.04/22.04/20.04）
lsb_release -a
# No LSB modules are available.
# Distributor ID: Ubuntu
# Description:    Ubuntu 24.04.1 LTS
# Release:        24.04
# Codename:       noble

# 清理历史 MySQL/MariaDB（关键！避免冲突）
sudo systemctl stop mysql mariadb 2>/dev/null || true
sudo apt remove --purge mysql* mariadb* 2>/dev/null || true
sudo rm -rf /var/lib/mysql /etc/mysql /var/log/mysql*

# 安装基础依赖（离线环境需提前准备这些 deb 包）
sudo apt update
sudo apt install -y \
    libaio1t64 \           # 异步 IO 支持，InnoDB 必需
    libnuma1 \             # NUMA 内存优化，大内存服务器关键
    psmisc \               # 提供 killall/fuser，管理脚本依赖
    mecab-utils \          # 日文分词（MySQL 全文索引可选）
    mecab-ipadic \         # 日文词典数据
    mecab-ipadic-utf8      # UTF-8 编码支持
```

**依赖包作用详解**：

| 包名         | 功能               | 缺失后果                               |
| ------------ | ------------------ | -------------------------------------- |
| `libaio1t64` | Linux 原生异步 IO  | InnoDB 无法初始化，启动失败            |
| `libnuma1`   | 非统一内存访问优化 | 大内存（>64GB）服务器性能下降          |
| `psmisc`     | 进程管理工具       | `mysql_secure_installation` 等脚本报错 |
| `mecab-*`    | 日文全文检索       | 不使用日文搜索可省略，但建议保留       |

### 3.2 获取官方离线安装包

```
# 方式一：官网直链下载（推荐，可验证签名）
cd /opt/mysql-packages  # 建议集中管理离线包
sudo wget https://cdn.mysql.com/archives/mysql-8.4/mysql-server_8.4.3-1ubuntu24.04_amd64.deb-bundle.tar

# 方式二：浏览器下载后传输（隔离环境）
# 访问 https://downloads.mysql.com/archives/community/
# 选择：
#   - Product: MySQL Community Server
#   - Version: 8.4.3
#   - OS: Ubuntu Linux
#   - OS Version: Ubuntu Linux 24.04 (x86, 64-bit)
#   - Package: Debian Bundle

# 验证包完整性（官网提供 SHA256 校验值）
sha256sum mysql-server_8.4.3-1ubuntu24.04_amd64.deb-bundle.tar
# 对比官网值：a1b2c3d4...（实际值需官网查询）

# 解压 bundle 包
sudo tar -xf mysql-server_8.4.3-1ubuntu24.04_amd64.deb-bundle.tar
ls -la *.deb
# 输出：
# mysql-common_8.4.3-1ubuntu24.04_amd64.deb                    # 通用组件
# mysql-community-client-plugins_8.4.3-1ubuntu24.04_amd64.deb  # 认证插件
# mysql-community-client-core_8.4.3-1ubuntu24.04_amd64.deb     # 客户端核心
# mysql-community-client_8.4.3-1ubuntu24.04_amd64.deb          # 客户端完整
# mysql-client_8.4.3-1ubuntu24.04_amd64.deb                    # 客户端元包
# mysql-community-server-core_8.4.3-1ubuntu24.04_amd64.deb     # 服务端核心
# mysql-community-server_8.4.3-1ubuntu24.04_amd64.deb          # 服务端完整
# mysql-server_8.4.3-1ubuntu24.04_amd64.deb                    # 服务端元包
# mysql-community-server-debug_8.4.3-1ubuntu24.04_amd64.deb    # 调试符号（可选）
# mysql-community-test_8.4.3-1ubuntu24.04_amd64.deb            # 测试套件（可选）
```

### 3.3 按依赖顺序安装

```
# 必须严格按依赖顺序安装，否则 dpkg 会报错
cd /opt/mysql-packages

sudo dpkg -i \
    mysql-common_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-client-plugins_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-client-core_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-client_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-client_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-server-core_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-community-server_8.4.3-1ubuntu24.04_amd64.deb \
    mysql-server_8.4.3-1ubuntu24.04_amd64.deb

# 安装顺序逻辑：
# 1. mysql-common: 通用文件和目录结构
# 2. client-plugins: 认证插件（caching_sha2_password 等）
# 3. client-core: 客户端二进制和库
# 4. client: 客户端配置和依赖
# 5. client 元包: 统一客户端入口
# 6. server-core: mysqld 二进制和系统表
# 7. server: 服务端配置和启动脚本
# 8. server 元包: 统一服务端入口
```

**常见错误处理**：

```
# 错误1：依赖未满足
# dpkg: error processing package mysql-community-server (--install):
#  dependency problems - leaving unconfigured

# 解决：自动修复依赖
sudo apt -f install -y
# 或手动安装缺失包
sudo apt install -y libmecab2 libprotobuf-lite32

# 错误2：端口被占用
# [ERROR] Do you already have another mysqld server running on port: 3306?

# 解决：检查并停止冲突服务
sudo lsof -i :3306
sudo systemctl stop mysql mariadb 2>/dev/null || true
sudo killall mysqld 2>/dev/null || true

# 错误3：数据目录非空
# [ERROR] --initialize specified but the data directory has files in it

# 解决：清理或备份旧数据
sudo mv /var/lib/mysql /var/lib/mysql.backup.$(date +%Y%m%d)
sudo mkdir /var/lib/mysql && sudo chown mysql:mysql /var/lib/mysql
```

### 3.4 初始化数据目录

```
# 方式A：自动初始化（推荐，生成临时 root 密码）
sudo mysqld --initialize --user=mysql --basedir=/usr --datadir=/var/lib/mysql

# 查看生成的临时密码
sudo grep 'temporary password' /var/log/mysql/error.log
# 2024-11-15T06:30:00.123456Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: Abc9#xyz!def

# 方式B：安全初始化（无密码，首次登录设置）
sudo mysqld --initialize-insecure --user=mysql --basedir=/usr --datadir=/var/lib/mysql
# 警告：仅测试环境使用，生产必须用 --initialize

# 目录权限修正
sudo chown -R mysql:mysql /var/lib/mysql
sudo chmod 750 /var/lib/mysql
```

### 3.5 启动与验证

```
# 启动服务
sudo systemctl start mysql
sudo systemctl enable mysql

# 检查状态
sudo systemctl status mysql
# ● mysql.service - MySQL Community Server
#      Loaded: loaded (/lib/systemd/system/mysql.service; enabled; preset: enabled)
#      Active: active (running) since Fri 2024-11-15 14:30:00 CST; 1min ago

# 查看版本确认
mysql -V
# mysql  Ver 8.4.3 for Linux on x86_64 (MySQL Community Server - GPL)

# 登录验证（使用临时密码或空密码）
sudo mysql -uroot -p
# 或
sudo mysql -uroot  # 如果是 --initialize-insecure

# SQL 验证
mysql> SELECT @@version, @@version_comment;
+-----------+------------------------------+
| @@version | @@version_comment            |
+-----------+------------------------------+
| 8.4.3     | MySQL Community Server - GPL |
+-----------+------------------------------+
1 row in set (0.00 sec)

mysql> SHOW VARIABLES LIKE 'validate_password%';
# 查看密码策略（8.4 默认更严格）
```

------

## 四、版本锁定与防升级策略

### 4.1 apt 标记保留（关键！）

```
# 防止 apt upgrade 自动升级 MySQL
sudo apt-mark hold \
    mysql-server \
    mysql-community-server \
    mysql-community-client \
    mysql-community-client-core \
    mysql-community-server-core \
    mysql-community-client-plugins \
    mysql-common

# 验证标记状态
apt-mark showhold
# 应输出：
# mysql-common
# mysql-community-client
# mysql-community-client-core
# mysql-community-server
# mysql-community-server-core
# mysql-server

# 查看包状态详情
dpkg -l | grep mysql
# ii  mysql-common                    8.4.3-1ubuntu24.04   amd64   hold
# ii  mysql-community-client          8.4.3-1ubuntu24.04   amd64   hold
# ...
```

### 4.2 配置 apt 自动排除

```
# 创建 apt 偏好配置，彻底阻止 MySQL 相关包升级
sudo tee /etc/apt/preferences.d/mysql-no-upgrade << 'EOF'
Package: mysql* libmysql*
Pin: version 8.4.*
Pin-Priority: 1001

Package: mysql* libmysql*
Pin: version *
Pin-Priority: -1
EOF

# 解释：
# - 8.4.* 版本优先级 1001（高于默认 500，允许安装但需手动确认）
# - 其他版本优先级 -1（禁止安装）

# 测试：尝试安装新版本会被阻止
sudo apt install mysql-server-8.0  # 应提示：将保持现状
```

### 4.3 升级流程（受控变更）

```
# 当需要升级时，按以下流程：

# 1. 解除锁定
sudo apt-mark unhold mysql-server mysql-community-server ...

# 2. 下载新版离线包
wget https://cdn.mysql.com/.../mysql-server_8.4.4-1ubuntu24.04_amd64.deb-bundle.tar

# 3. 备份数据
sudo mysqldump -uroot -p --all-databases --single-transaction > mysql_backup_$(date +%Y%m%d).sql

# 4. 停止服务
sudo systemctl stop mysql

# 5. 解压并安装新版
tar -xf mysql-server_8.4.4...
sudo dpkg -i ... # 同上顺序

# 6. 启动并验证
sudo systemctl start mysql
mysql_upgrade -uroot -p  # 如有需要

# 7. 重新锁定
sudo apt-mark hold mysql-server ...
```

------

## 五、安全加固与初始化配置

### 5.1 首次登录必做

```
# 修改临时密码（必须满足复杂度）
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'YourNew@Strong#Pass123';

# 创建应用专用账户（禁止 root 远程）
mysql> CREATE USER 'app_user'@'%' IDENTIFIED BY 'App@Secure#456';
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON app_database.* TO 'app_user'@'%';

# 删除匿名用户和测试库
mysql> DELETE FROM mysql.user WHERE User='';
mysql> DROP DATABASE IF EXISTS test;
mysql> DELETE FROM mysql.db WHERE Db='test' OR Db='test\\_%';
mysql> FLUSH PRIVILEGES;
```

### 5.2 配置文件优化

```
# 创建生产配置文件
sudo tee /etc/mysql/mysql.conf.d/99-production.cnf << 'EOF'
[mysqld]
# 基础设置
datadir = /var/lib/mysql
socket = /var/run/mysqld/mysqld.sock
symbolic-links = 0

# 字符集（8.4 默认已 utf8mb4，显式确认）
character-set-server = utf8mb4
collation-server = utf8mb4_0900_ai_ci

# InnoDB 优化（根据内存调整）
innodb_buffer_pool_size = 4G          # 物理内存的 50-70%
innodb_buffer_pool_instances = 4
innodb_log_file_size = 512M
innodb_flush_log_at_trx_commit = 2     # 平衡性能与持久化
innodb_flush_method = O_DIRECT

# 连接设置
max_connections = 500
wait_timeout = 600
interactive_timeout = 600

# 日志配置
log_error = /var/log/mysql/error.log
slow_query_log = 1
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 2

# 安全设置
local_infile = 0
skip-symbolic-links
require_secure_transport = ON           # 强制 SSL（需配置证书）

# 性能监控
performance_schema = ON
EOF

sudo systemctl restart mysql
```

------

## 六、故障排查速查

| 现象         | 诊断命令                          | 解决方案                      |
| ------------ | --------------------------------- | ----------------------------- |
| 启动失败     | `sudo journalctl -u mysql -n 50`  | 检查 /var/log/mysql/error.log |
| 端口冲突     | `sudo lsof -i :3306`              | 停止冲突服务或修改 port       |
| 权限拒绝     | `sudo ls -la /var/lib/mysql`      | `chown -R mysql:mysql`        |
| 密码遗忘     | `sudo mysqld --skip-grant-tables` | 重置 root 密码                |
| 远程连接失败 | `telnet server 3306`              | 检查 bind-address 和防火墙    |
| 性能下降     | `SHOW ENGINE INNODB STATUS`       | 优化 innodb_buffer_pool_size  |

------

## 七、一键安装脚本（待测试）

```
#!/bin/bash
# install-mysql-8.4.3-offline.sh

set -euo pipefail

MYSQL_VERSION="8.4.3"
UBUNTU_CODENAME="noble"  # 24.04
INSTALL_DIR="/opt/mysql-${MYSQL_VERSION}"
DATA_DIR="/var/lib/mysql"

# 颜色输出
RED='\033[0;31m'; GREEN='\033[0;32m'; YELLOW='\033[1;33m'; NC='\033[0m'

log() { echo -e "${GREEN}[INFO]${NC} $1"; }
warn() { echo -e "${YELLOW}[WARN]${NC} $1"; }
error() { echo -e "${RED}[ERROR]${NC} $1"; exit 1; }

# 检查 root
[ "$(id -u)" -ne 0 ] && error "请使用 sudo 运行"

# 检查现有 MySQL
if systemctl is-active --quiet mysql 2>/dev/null; then
    warn "检测到运行中的 MySQL，将停止备份"
    mysqldump -uroot -p --all-databases > mysql_backup_$(date +%Y%m%d).sql 2>/dev/null || true
    systemctl stop mysql
fi

# 安装依赖
log "安装基础依赖..."
apt-get update
apt-get install -y libaio1t64 libnuma1 psmisc || error "依赖安装失败"

# 检查离线包
BUNDLE_TAR="mysql-server_${MYSQL_VERSION}-1ubuntu24.04_amd64.deb-bundle.tar"
if [ ! -f "$BUNDLE_TAR" ]; then
    error "未找到 ${BUNDLE_TAR}，请从官网下载后放置于当前目录"
fi

# 解压安装
log "解压并安装 MySQL ${MYSQL_VERSION}..."
mkdir -p "$INSTALL_DIR" && cd "$INSTALL_DIR"
tar -xf "/${BUNDLE_TAR}" 2>/dev/null || tar -xf "../${BUNDLE_TAR}"

dpkg -i mysql-common_*.deb \
      mysql-community-client-plugins_*.deb \
      mysql-community-client-core_*.deb \
      mysql-community-client_*.deb \
      mysql-client_*.deb \
      mysql-community-server-core_*.deb \
      mysql-community-server_*.deb \
      mysql-server_*.deb 2>/dev/null || apt-get -f install -y

# 初始化
log "初始化数据目录..."
if [ ! -d "$DATA_DIR/mysql" ]; then
    mysqld --initialize --user=mysql --basedir=/usr --datadir="$DATA_DIR"
    TEMP_PASS=$(grep 'temporary password' /var/log/mysql/error.log | tail -1 | awk -F': ' '{print $NF}')
    log "临时 root 密码: ${TEMP_PASS}"
else
    warn "数据目录已存在，跳过初始化"
fi

# 启动服务
log "启动 MySQL 服务..."
systemctl start mysql
systemctl enable mysql

# 版本验证
INSTALLED_VERSION=$(mysql -V | awk '{print $3}')
log "安装版本: ${INSTALLED_VERSION}"

# 锁定版本
log "锁定版本防止自动升级..."
apt-mark hold mysql-server mysql-community-server mysql-community-client \
              mysql-community-client-core mysql-community-server-core mysql-common

log "安装完成！请执行："
log "1. 使用临时密码登录: sudo mysql -uroot -p"
log "2. 立即修改密码: ALTER USER 'root'@'localhost' IDENTIFIED BY '新密码';"
log "3. 运行安全脚本: sudo mysql_secure_installation"
```

------

## 总结

| 关键点   | 操作                                                 |
| -------- | ---------------------------------------------------- |
| 版本控制 | `apt-mark hold` + `/etc/apt/preferences.d/` 双重锁定 |
| 离线部署 | 官网 bundle tar → dpkg 按序安装 → 初始化 → 启动      |
| 安全基线 | 临时密码 → 强制修改 → 创建应用账户 → 删除匿名用户    |
| 配置优化 | `99-production.cnf` 覆盖默认，InnoDB 按内存调优      |
| 升级流程 | 解锁 → 备份 → 安装新版 → 验证 → 重新锁定             |

离线安装特定mysql

使用 **top** 或者 **htop** 命令查看是否存在异常进程

同时有些异常进程隐藏比较深，以上两个命令无法查出
可以使用以下两个命令，查看占用 CPU 和内存的进程

```
ps -eo pid,ppid,%cpu,%mem,etimes,cmd --sort=-%cpu | head

ps -eo pid,ppid,%cpu,%mem,etimes,cmd --sort=-%mem | head
```



发现异常进程后，尝试 kill 杀死进程后
观察该异常是否会重新自启或者该异常进程每隔一段时间会自动结束进程然后重新启动类似的进程

若是以上问题，则该异常进程部署了自启任务

查看 **service** 类型 **enable** 的单元

```
systemctl list-unit-files --type=service --state=enabled
```



**cron** 系统级任务

主表，每行必须写用户，最早被读取

```
/etc/crontab
```



每行必须写用户，与 **/etc/crontab** 等效，但可按软件包管理

```
/etc/cron.d/*.conf
```



把可执行脚本扔进去就行，**anacron** 会补跑

```
/etc/cron.hourly | cron.daily | cron.weekly | cron.monthly/
```



将 **/etc/cron.d/** 目录下所有定时任务文件一次性打印到终端

```
cat /etc/cron.d/* 2>/dev/null | cat -A
```



排查异常进程

## 一、内核日志的存储机制：环形缓冲区

### 1.1 什么是环形缓冲区（Ring Buffer）？

Linux 内核在启动时，会预先分配一块**固定大小的物理内存**作为日志存储区域，采用**环形（循环覆盖）**的数据结构管理：

```
┌─────────────────────────────────────────┐
│  内核环形缓冲区（Ring Buffer）           │
│  典型大小：256KB ~ 4MB（可配置）          │
├─────────────────────────────────────────┤
│  [消息1] [消息2] [消息3] ... [消息N]     │
│     ▲                          ▼        │
│     └──────── 新消息覆盖旧消息 ─────────┘ │
└─────────────────────────────────────────┘
```

**核心特性**：

| 特性           | 说明                   | 影响                       |
| -------------- | ---------------------- | -------------------------- |
| **固定大小**   | 不随日志量增长         | 高负载系统可能丢失早期日志 |
| **循环覆盖**   | 满时新消息覆盖最旧消息 | 需及时导出或持久化重要日志 |
| **内核态存储** | 不依赖文件系统         | 文件系统损坏时仍可查看     |
| **无锁设计**   | 多 CPU 并发写入        | 高性能，极低开销           |

**查看缓冲区大小**：

```
# 查看当前环形缓冲区大小（字节）
cat /sys/kernel/debug/printk/buffer_size_kb
# 或
dmesg | wc -c
```

### 1.2 内核日志的生成流程

```
硬件事件/驱动调用
       │
       ▼
┌─────────────┐    ┌─────────────┐    ┌─────────────┐
│  printk()   │───►│  环形缓冲区  │◄───│  dmesg/journalctl │
│  内核函数   │    │  (内存中)    │    │  用户态读取工具    │
└─────────────┘    └─────────────┘    └─────────────┘
                          │
                          ▼
                   ┌─────────────┐
                   │  /dev/kmsg  │
                   │  设备节点   │
                   └─────────────┘
```

------

## 二、dmesg：传统的内核日志查看器

### 2.1 dmesg 基础用法

```
# 基本输出（纯文本，无时间戳）
dmesg

# 显示可读时间戳（推荐）
dmesg -T
# [Mon Oct 27 17:15:23 2023] usb 1-1: new high-speed USB device number 2 using xhci_hcd

# 显示时间间隔（距上一条日志的秒数）
dmesg -d
# [    0.000000] Linux version 5.15.0-76-generic      ← 启动
# [    0.004567] Command line: BOOT_IMAGE=/vmlinuz...  ← 4.5ms后
```

### 2.2 高级过滤与格式化

#### 按日志级别过滤（0-7级）

| 级别 | 名称     | 含义         | 使用场景           |
| ---- | -------- | ------------ | ------------------ |
| 0    | `emerg`  | 系统不可用   | 内核崩溃、panic    |
| 1    | `alert`  | 必须立即处理 | 严重硬件故障       |
| 2    | `crit`   | 严重错误     | 关键服务失败       |
| 3    | `err`    | 错误         | 驱动加载失败       |
| 4    | `warn`   | 警告         | 配置异常、降级运行 |
| 5    | `notice` | 正常但重要   | 安全事件、状态变更 |
| 6    | `info`   | 信息性       | 常规操作日志       |
| 7    | `debug`  | 调试信息     | 开发诊断           |

```
# 仅显示错误和警告（生产排查首选）
dmesg -l err,warn
# 或完整写法
dmesg --level=err,warn

# 显示所有严重级别
dmesg -l emerg,alert,crit,err,warn,notice,info,debug
```

#### 人性化输出（交互式浏览）

```
# 自动分页 + 颜色高亮（类似 less）
dmesg -H
# 操作：↑/↓ 滚动，/ 搜索，q 退出

# 彩色输出（不自动分页）
dmesg -L
```

#### 实时监控新日志

```
# 仅监控新产生的日志（不显示历史）
dmesg --follow-new
# 或简写
dmesg -w

# 与传统 tail -f 的区别：
# tail -f /var/log/kern.log  ← 依赖 rsyslog，可能有延迟
# dmesg --follow-new         ← 直接读取 /dev/kmsg，实时性更高
```

### 2.3 实用排查案例

#### 案例 1：USB 设备无法识别

```
# 搜索 USB 相关日志
dmesg | grep -i "usb" | tail -20

# 典型错误与解决方案：
# ─────────────────────────────────────────────────────────
# usb 1-1: device descriptor read/64, error -110
#   → 原因：USB 设备响应超时（物理连接问题）
#   → 解决：更换 USB 端口、线缆，或检查设备供电
#
# usb 1-1: device not accepting address 2, error -71
#   → 原因：USB 协议错误（设备或控制器故障）
#   → 解决：尝试其他端口，更新 xhci_hcd 驱动
#
# usbhid: probe of 1-1:1.0 failed with error -32
#   → 原因：HID 驱动不兼容
#   → 解决：卸载重载驱动：sudo modprobe -r usbhid && sudo modprobe usbhid
```

#### 案例 2：硬盘 I/O 故障诊断

```
# 查看磁盘错误（以 sda 为例）
dmesg -l err | grep "sda"

# 关键错误模式：
# ─────────────────────────────────────────────────────────
# Buffer I/O error on dev sda, logical block 12345678
#   → 物理坏块，立即备份数据，更换硬盘
#
# EXT4-fs error (device sda1): ext4_lookup: deleted inode referenced
#   → 文件系统损坏，尝试 fsck 修复
#
# ata1.00: exception Emask 0x0 SAct 0x0 SErr 0x40000000 action 0x6 frozen
#   → SATA 链路错误，检查数据线和电源
```

#### 案例 3：内存故障与 OOM 诊断

```
# 内存相关日志
dmesg | grep -iE "memory|oom|hardware.error" | tail -30

# 典型场景：
# ─────────────────────────────────────────────────────────
# Out of memory: Kill process 1234 (python) score 912 or sacrifice child
#   → OOM Killer 触发，进程被强制终止
#   → 解决：增加物理内存、添加 Swap、优化应用内存使用
#
# Hardware Error: Corrected error, no action required.
#   → ECC 内存自动纠正错误（可接受）
#   → 监控：若频繁出现，预示内存条老化
#
# Hardware Error: Machine check events logged
#   → 不可纠正的硬件错误
#   → 立即检查：mcelog --client 或 edac-util -v
```

#### 案例 4：网卡与网络故障

```
# 网卡驱动日志
dmesg | grep -iE "eth|ens|wlan|network" | tail -20

# 典型问题：
# ─────────────────────────────────────────────────────────
# eth0: Link is Down
#   → 物理链路断开，检查网线、交换机端口
#
# ixgbe 0000:01:00.0: NIC Link is Up 10 Gbps, Flow Control: RX/TX
#   → 网卡正常工作，10Gbps 链路已建立
```

### 2.4 日志导出与持久化

```
# 导出完整日志到文件
dmesg > /var/log/dmesg-$(date +%F-%H%M).log

# 导出带时间戳的日志
dmesg -T > /var/log/dmesg-readable.log

# 定期归档（cron 任务）
# /etc/cron.d/dmesg-backup
0 */6 * * * root /bin/dmesg -T > /var/log/dmesg-archive-$(date +\%F-\%H).log
```

------

## 三、journalctl：systemd 时代的日志中心

### 3.1 journalctl 与 dmesg 的关系

| 特性         | dmesg                | journalctl                         |
| ------------ | -------------------- | ---------------------------------- |
| **数据来源** | 内核环形缓冲区       | systemd-journald（内核+用户态）    |
| **存储位置** | 内存（/dev/kmsg）    | 内存（/run/log）或磁盘（/var/log） |
| **日志范围** | 仅内核日志           | 内核 + 所有 systemd 服务           |
| **持久化**   | 需手动导出           | 原生支持持久化配置                 |
| **查询能力** | 简单过滤             | 强大的结构化查询                   |
| **性能**     | 极高（直接内存访问） | 高（二进制索引）                   |

**关键认知**：journalctl 包含 dmesg 的内容，但 dmesg 不包含 journalctl 的用户态日志。

### 3.2 journalctl 基础用法

#### 查看启动日志

```
# 查看当前启动的所有日志（内核+服务）
journalctl

# 查看上一次启动
journalctl -b -1

# 查看特定启动（需启用持久化）
journalctl --list-boots
# -1 ... Mon 2023-10-23 09:15:23 CST—Mon 2023-10-23 18:30:45 CST
#  0 ... Tue 2023-10-24 08:00:12 CST—Tue 2023-10-24 17:45:30 CST

journalctl -b -2  # 查看上上次启动
```

#### 时间范围过滤

```
# 绝对时间
journalctl --since "2023-10-27 17:15:00" --until "2023-10-27 18:00:00"

# 相对时间
journalctl --since "1 hour ago"
journalctl --since "yesterday" --until "today"
journalctl --since "2023-10-01" --until "2 days ago"

# 仅今天
journalctl --since today
```

#### 按服务/单元过滤

```
# 查看特定服务
journalctl -u nginx.service
journalctl -u sshd.service -f  # 实时跟踪

# 查看多个服务
journalctl -u nginx.service -u php-fpm.service

# 查看系统初始化（无服务单元）
journalctl -p err -b  # 启动错误
```

### 3.3 高级过滤技巧

#### 按优先级过滤

```
# 仅错误及以上（与 dmesg -l err 类似，但包含用户态）
journalctl -p err

# 优先级名称或数字
journalctl -p 3          # err
journalctl -p warning    # 4
journalctl -p 0..3       # emerg 到 err
```

#### 按字段过滤（结构化查询）

```
# 按进程名
journalctl _COMM=nginx

# 按可执行文件路径
journalctl _EXE=/usr/bin/python3

# 按 PID
journalctl _PID=1234

# 按命令行参数（查找特定脚本）
journalctl _CMDLINE="/usr/bin/python3 /app/server.py"

# 按 syslog 标识
journalctl SYSLOG_IDENTIFIER=kernel  # 等价于 dmesg
```

#### 组合查询

```
# 复杂条件：nginx 服务，昨天，错误级别
journalctl -u nginx.service --since yesterday -p err

# 特定时间段 + 特定服务 + 实时跟踪
journalctl -u myapp.service --since "10 minutes ago" -f
```

### 3.4 输出格式控制

```
# 详细输出（含所有元数据）
journalctl -o verbose

# JSON 格式（程序化解析）
journalctl -u myapp -o json | jq '.MESSAGE'

# 短格式（类似传统 syslog）
journalctl -o short

# 仅消息内容（无时间戳等）
journalctl -o cat
```

------

## 四、日志持久化配置（生产必备）

### 4.1 默认行为的局限

默认情况下，systemd-journald 将日志存储在 **内存中**（`/run/log/journal`），重启后丢失。对于服务器故障排查，必须启用**持久化存储**。

### 4.2 启用持久化日志

```
# 步骤 1：创建持久化目录
sudo mkdir -p /var/log/journal

# 步骤 2：重启服务（自动检测并迁移）
sudo systemctl restart systemd-journald

# 验证
ls -la /var/log/journal/
# 应出现类似：systemd-journald-a1b2c3d4e5f67890.journal
```

### 4.3 高级配置（/etc/systemd/journald.conf）

```
[Journal]
# 存储模式：volatile（内存）、persistent（磁盘）、auto（自动检测）
Storage=persistent

# 磁盘空间限制（持久存储）
SystemMaxUse=5G          # 最大占用 5GB
SystemKeepFree=10G       # 保留 10GB 空闲空间
SystemMaxFileSize=100M   # 单个日志文件最大 100MB

# 内存限制（运行时）
RuntimeMaxUse=500M       # 内存中最多 500MB
RuntimeMaxFileSize=50M   # 运行时单个文件 50MB

# 保留策略
MaxRetentionSec=1month   # 保留 1 个月
MaxFileSec=1week         # 单个文件最长 1 周

# 压缩
Compress=yes             # 启用压缩，节省空间

# 转发到传统 syslog（兼容旧系统）
ForwardToSyslog=yes
```

应用配置：

```
sudo systemctl restart systemd-journald
```

### 4.4 日志清理与维护

```
# 查看当前磁盘占用
journalctl --disk-usage
# Archived and active journals take up 2.8G in the file system.

# 按大小清理（保留最近 1GB）
sudo journalctl --vacuum-size=1G

# 按时间清理（保留最近 1 年）
sudo journalctl --vacuum-time=1years

# 按文件数清理（保留最近 10 个启动）
sudo journalctl --vacuum-files=10
```

------

## 五、综合排查实战

### 场景：系统启动缓慢

```
# 步骤 1：分析启动耗时
systemd-analyze blame
# 3.456s NetworkManager-wait-online.service
# 2.123s docker.service
# 1.987s postgresql.service

# 步骤 2：查看启动过程中的错误
journalctl -b -p err

# 步骤 3：查看特定服务的详细启动日志
journalctl -u NetworkManager-wait-online.service -b

# 步骤 4：结合 dmesg 查看硬件初始化
dmesg -l warn,err | grep -E "eth|wlan|nvme"
```

### 场景：服务崩溃无日志

```
# 步骤 1：扩大日志范围（可能崩溃前已有异常）
journalctl -u myapp.service --since "10 minutes ago" -p debug

# 步骤 2：查看内核是否记录异常（OOM、段错误）
dmesg -T | grep -E "killed|segfault|oom"

# 步骤 3：查看 audit 日志（SELinux/AppArmor 拦截）
sudo ausearch -ts recent -m avc
```

------

## 六、工具对比速查表

| 任务                 | 推荐工具   | 命令                                   |
| -------------------- | ---------- | -------------------------------------- |
| 快速查看内核错误     | dmesg      | `dmesg -l err,warn -T`                 |
| 实时跟踪内核日志     | dmesg      | `dmesg --follow-new`                   |
| 查看服务完整生命周期 | journalctl | `journalctl -u nginx.service`          |
| 分析启动问题         | journalctl | `journalctl -b -p err`                 |
| 跨重启追溯问题       | journalctl | `journalctl -b -1 --since "10:00"`     |
| 导出结构化日志       | journalctl | `journalctl -o json > logs.json`       |
| 高性能实时监控       | dmesg      | `dmesg -w`（比 journalctl -k -f 更快） |