部分文章的图片会出现关于CSDN的水印，如：CSDN @ZZZCY2003

那是我的CSDN账号，因为搭建个人博客所以将CSDN上的文章进行迁移过来，但是图片水印并没有清除

![image.png](/static/img/csdn_ZZZCY2003.png)

文章说明

shell脚本学习

## 一、ext4（第四代扩展日志文件系统）
### 适用场景
CentOS 6、RHEL 6及更早系统默认根/数据文件系统，Ubuntu 14及更早默认，小型服务器、普通业务分区、系统盘首选
### 核心特性
1. **日志文件系统**：存在journal日志区，异常断电、崩溃后可快速修复，不易损坏文件元数据；ext3无延迟分配，ext4新增延迟分配提高写入性能
2. **容量限制**：单分区最大1EiB，单文件上限16TiB，子目录数量无上限
3. **向下兼容**：可直接挂载ext2、ext3分区，老硬件、老旧虚拟机兼容性较强
4. **碎片优化**：支持预分配、延迟分配、多块分配，缓解机械硬盘文件碎片问题
5. **缺陷**：超大文件（几十TB）读写性能衰减；快照、精简扩容原生不支持，扩容操作较慢
### 典型用途
系统根分区、小容量数据盘、老旧服务器、嵌入式Linux

## 二、XFS（高性能64位日志文件系统）
### 适用场景
CentOS 7、RHEL 7、Rocky、AlmaLinux默认文件系统，数据库服务器、大容量存储、视频监控、大数据磁盘标配
### 核心特性
1. **原生64位架构**：单分区最大8EiB，单文件8EiB，超大文件读写碾压ext4
2. **元数据并行处理**：inode、日志、数据块分开多线程读写，多进程并发写入性能极强
3. **延迟分配+条带化**：适配机械硬盘RAID、SSD，高并发写入几乎无性能瓶颈
4. **日志分离**：支持外部日志设备，数据库业务可单独高速盘存放日志，大幅降低IO阻塞
5. **在线扩容**：支持挂载状态下直接扩容分区，**不支持在线缩容**
6. **缺陷**：小型零散小文件场景性能不如ext4；修复速度慢，超大分区fsck耗时极长
### 典型用途
MySQL/PostgreSQL数据库盘、10TB以上大容量数据盘、流媒体存储、Kafka磁盘

## 三、tmpfs（内存临时文件系统）
### 适用场景
所有Linux发行版本内置，/dev/shm、/tmp、缓存目录默认挂载tmpfs
### 核心特性
1. 完全运行在物理内存+Swap分区，无磁盘IO，读写速度接近内存带块
2. 容量默认内存50%，可手动置顶size参数限制大小
3. 断电/重启数据全部清空，不会持久化存储，天然适合临时缓存
4. 无需格式化，挂载即用，不占用磁盘空间
5. **缺陷**：占用物理内存，写入过量会触发swap交换，拖慢整机性能；数据不落地，不能存持久业务数据
### 典型用途
程序临时缓存、共享内存、Nginx/Redis临时缓冲区、编译临时文件

## 四、Btrfs（B-tree文件系统，下一代复合文件系统）
### 适用场景
Fedora默认，存储服务器、备份服务器、多磁盘集群、容器底层存储
### 核心特性
1. **一体化复合功能**：原生快照、子卷、轻量化RAID0/1/5/6、数据去重、透明压缩，无需额外LVM/快照工具
2. **支持跨多块硬盘组建存储池，单文件最大16EiB
3. **Copy-on-Write(写时复制)**：修改文件不覆盖原数据，避免断电损坏，快照秒级创建
4. **子卷隔离**：可对不同业务目录创建独立子卷，单独配额、单独快照
5. **缺陷**：稳定性不如XFS/ext4，企业数据库生产环境极少使用；碎片化严重，长时间运行性能下降了；修复工具不完善
### 典型用途
本地备份服务器、NAS私有存储、Docker底层存储、测试环境多磁盘管理

## 五、补充企业常用文件系统
### 1. ext3
ext4前身，纯日志文件系统，无延迟分配，性能差，仅老旧古董设备遗留，新服务器不再使用。

### 2. ZFS（Zettabyte File System）
开源高性能企业级文件系统，主流用于FreeBSD，Linux需单独安装zfs模块。
- 优势：RAID-Z冗余、快照、复制、自动校验、数据修复、精简配置、去重压缩一体；企业存储、NAS首选。
- 短板：内存占用高，CentOS无官方内置内核支持，运维门槛高。

### 3. Swap（交换分区）
不属于数据文件系统，是内存置换分区。物理内存不足时，将冷数据存入磁盘缓解OOM；固态硬盘swap性能远优于机械盘。

### 4. squashfs
只读压缩文件系统，多用于系统镜像、容器镜像、嵌入式固件。文件全程压缩，占用空间极小，只能读取不可写入。

### 5. vfat / FAT32
Windows兼容文件系统，Linux挂载U盘、移动硬盘通用。无权限、无日志、单文件最大4GB，仅用于跨平台临时传输。

### 6. NTFS
Windows默认文件系统，Linux仅只读稳定，写入需ntfs-3g驱动；外接Windows移动硬盘专用，服务器本地磁盘不推荐。

### 7. OverlayFS
容器专用联合文件系统，Docker/K8s底层存储驱动。多层镜像分层叠加，上层读写、底层只读，实现容器镜像分层复用。

## 六、各文件系统选型对比速记
| 文件系统 | 系统默认版本 | 核心优势 | 短板 | 推荐业务场景 |
|--------|------------|--------|------|------------|
| ext4 | CentOS6- | 稳定、兼容好、小文件友好 | 超大文件性能差，无原生快照 | 系统盘、小型业务分区 |
| XFS | CentOS7+ | 大文件高并发、数据库友好 | 不支持在线缩容，fsck慢 | 数据库、大容量数据盘 |
| tmpfs | 全发行版内置 | 内存级极速读写 | 重启丢失、占用内存 | 临时缓存、共享内存 |
| btrfs | Fedora | 快照/RAID/压缩一体化 | 生产稳定性一般 | 备份、NAS、测试存储 |
| ZFS | FreeBSD | 企业级数据冗余校验 | Linux内核无官方支持 | 专业存储服务器 |
| overlayfs | 容器专用 | 分层镜像复用 | 仅用于容器 | Docker、K8s |
| squashfs | 镜像固件 | 高压缩只读 | 无法写入修改 | 系统镜像、固件 |


Linux主流文件系统

## 1. su 用户名
仅变更操作身份，**不加载目标用户环境变量**，当前所在工作目录保持不变，PATH、HOME等环境变量仍先用原登录用户

示例：`su root`

## 2. su - 用户名（等价 su -l 用户名）
模拟完整重新登录流程：
1. 清空当前环境变量，加载目标用户完整环境（～/.bash_profile、~/.bashrc）
2. 自动切换到目标用户家目录
3. PATH、HOME、用户自定义变量全部更新为目标用户配置

示例：`su - root`

## 3. sudo 命令
临时以管理员权限执行**单条命令**，不会切换shell会话，仅当前这一条命令提权，执行完立刻退回原用户
- 仅临时借用root权限，环境变量基本保留当前用户
- 需要输入**当前用户密码**，不是root密码

示例：`sudo cat /etc/shadow`

## 4. sudo -s
切换至root shell，但**不完整加载root登录环境**：
1. 身份变为root，工作目录不变
2. 仅部分root环境生效，不会读取root的登录配置文件
3. 输入当前用户密码验证

适用：临时root交互shell，不需要完整root环境

## 5. sudo -i（最常用，推荐替代su - root）
完全模拟root登录。效果等同`su - root`
1. 完整加载root用户全部登录环境变量
2. 自动进入root家目录`/root`
3. 读取`root/.bash_profile`、`/root/bashrc`
4. 输入当前普通用户密码，无需知道root密码

## 快速对比总结
| 命令         | 是否切换环境 | 是否切换家目录 | 验证密码   | 使用场景                     |
|--------------|--------------|----------------|------------|------------------------------|
| su root      | 否           | 否             | root密码   | 知道root密码，临时换身份     |
| su - root    | 是           | 是             | root密码   | 需要完整root登录环境         |
| sudo 指令    | 不换shell    | 不切换         | 当前用户   | 单条命令临时提权             |
| sudo -s      | 部分加载     | 不切换         | 当前用户   | 简易root交互shell            |
| sudo -i      | 完整加载root | 切换至/root    | 当前用户   | 日常运维，完整root登录环境    |

su、su -、sudo、sudo -i、sudo -s之间的区别

## 总览
- grep：**过滤检索**，抓匹配行
- sed：**流式编辑**，增删改替换行
- awk：**列处理、统计计算**，结构化文本分析

三者常组合管道 `|` 串联使用，是日志分析、脚本处理核心工具。

# 一、grep 文本检索（过滤行）
## 核心作用
逐行读取文本，匹配正则/普通字符串，输出命中行；只筛选，不修改原文。
## 常用基础参数
| 参数 | 作用 |
|------|------|
| -i | 忽略大小写匹配 |
| -v | 反向匹配，输出不包含关键词的行 |
| -n | 输出匹配行的行号 |
| -c | 只统计匹配行数，不打印内容 |
| -o | 只打印匹配到的字符串本身，不打印整行 |
| -r / -R | 递归遍历目录下所有文件 |
| -l | 只输出包含匹配内容的文件名 |
| -A n | 匹配行 + 后n行 |
| -B n | 匹配行 + 前n行 |
| -C n | 匹配行 + 前后各n行 |

## 实用示例
1. 基础匹配
```bash
# 查找包含error的行
grep "error" app.log
# 忽略大小写查找
grep -i "error" app.log
```
2. 反向过滤（排除注释空行）
```bash
# 过滤掉#开头注释、空行
grep -v "^#" nginx.conf | grep -v "^$"
```
3. 递归批量查目录所有文件（你笔记里的命令）
```bash
# 写法1：find + xargs grep（兼容特殊文件名）
find /home/test -type f | xargs grep "test"
# 写法2：grep -r 简化递归
grep -r "test" /home/test/
# 只输出匹配的文件名称
grep -rl "test" /home/test/
```
4. 日志上下文查看
```bash
# 打印error行及前后3行日志
grep -C 3 "error" app.log
```
5. 统计报错行数
```bash
grep -c "Exception" app.log
```

# 二、sed 流编辑器（增、删、改、替换行）
## 核心作用
流式逐行处理文本，**擅长行级操作**，默认只输出到终端，不加 `-i` 不会修改原文件。
## 基础语法
`sed [参数] '定位+动作' 文件`
### 常用动作
- s/old/new/：替换字符串
- d：删除匹配行
- a：匹配行下方新增行
- i：匹配行上方插入行
- p：打印匹配行（配合-n只输出匹配内容）

### 关键参数
- `-i`：直接修改原文件；`-i.bak` 修改同时生成备份文件
- `-n`：只打印被p动作匹配的行，屏蔽默认全量输出

## 高频实操案例
### 1. 替换 s 命令（最常用）
```bash
# 全局替换每行所有www为blog（g=global全局）
sed 's/www/blog/g' test.txt
# 只修改第二处匹配，不加g只替换每行第一个
sed 's/www/blog/2' test.txt
# 直接修改原文件并备份test.txt.bak
sed -i.bak 's/127.0.0.1/192.168.1.100/g' hosts
# 匹配注释并取消注释（替换#开头空）
sed -i 's/^#port/port/g' nginx.conf
# 删除行首空格
sed 's/^ *//g' test.txt
```

### 2. 删除行 d
```bash
# 删除空行
sed '/^$/d' test.txt
# 删除包含#注释的行
sed '/^#/d' nginx.conf
# 删除第5行
sed '5d' test.txt
# 删除10~20行区间
sed '10,20d' test.txt
# 删除匹配error的行
sed '/error/d' app.log
```

### 3. 插入、追加文本 a / i
```bash
# 在第3行上方插入一行
sed '3i new_line' test.txt
# 在匹配hostname行下方追加内容
sed '/hostname/a server_name=test' test.txt
```

### 4. 只打印匹配行（-n + p）
```bash
# 只输出包含root的行，等价grep
sed -n '/root/p' /etc/passwd
# 打印5-10行
sed -n '5,10p' test.txt
```

# 三、awk 列处理、统计、结构化计算（三剑客最强）
## 核心作用
按**分隔符**切割文本为多列，擅长：字段筛选、数值运算、求和统计、格式化输出；处理日志、CSV、表格数据首选。
## 基础语法
`awk '条件{执行动作}' 文件`
### 内置核心变量
| 变量 | 含义 |
|------|------|
| $0 | 整行全部内容 |
| $1 $2 $3... | 第1列、第2列、第3列字段 |
| NF | 当前行总列数 |
| NR | 当前行号 |
| FS | 输入分隔符，默认空格/制表符 |
| OFS | 输出分隔符 |

### 关键参数
- `-F "分隔符"`：自定义字段分割符（逗号、冒号、/等）

## 基础示例
1. 打印指定列
```bash
# /etc/passwd 冒号分隔，打印用户名($1)和shell($7)
awk -F: '{print $1,$7}' /etc/passwd
# 打印磁盘使用率第5列
df -h | awk '{print $5}'
# 多列格式化输出，自定义分隔符
df -h | awk '{print $1"|"$2"|"$5}'
```
2. 过滤条件筛选
```bash
# 只打印磁盘使用率超过80%的分区
df -h | awk 'NR>1 {gsub(/%/,"",$5);if($5>80) print $1,$5"%"}'
# 匹配包含root的行输出第1列
awk -F: '/root/ {print $1}' /etc/passwd
```
3. 数值统计（求和、计数）
```bash
# 统计日志总访问量，累加第4列数字
awk '{sum+=$4} END{print "总流量：",sum}' access.log
# 统计文件行数（等价wc -l）
awk 'END{print NR}' test.txt
# 统计日志中200状态码行数
awk '$9==200 {count++} END{print count}' access.log
```
4. 修改分隔符
```bash
# 逗号分割csv文件
awk -F, '{print $2}' data.csv
# 输出用#分隔各列
awk -F: -v OFS="#" '{print $1,$3}' /etc/passwd
```

# 四、三剑客组合管道实战
## 场景1：Nginx日志统计PV、404报错
```bash
# 统计404报错数量
cat nginx.log | grep "404" | wc -l
# awk一步统计
awk '$9==404 {num++} END{print num}' nginx.log
```

## 场景2：过滤配置，去除注释空行并替换IP
```bash
cat nginx.conf | grep -v "^#" | grep -v "^$" | sed 's/localhost/192.168.1.10/'
```

## 场景3：查看占用80端口进程号
```bash
netstat -tulnp | grep 80 | awk '{print $7}' | sed 's/\/.*//'
```

## 场景4：批量清理日志多余空行+提取指定字段
```bash
cat app.log | sed '/^$/d' | grep "WARN" | awk '{print $1,$5}'
```

# 核心分工总结
1. **grep：只筛选行**
   快速抓含关键词的日志行，过滤、看上下文、统计匹配行数。
2. **sed：行级编辑**
   替换字符串、删除无用行、插入配置，批量修改配置文件。
3. **awk：列级处理+统计**
   拆分字段、提取IP/端口/使用率、数字求和、条件判断，日志数据分析。
4. 组合逻辑：`grep 筛选行 → sed 修改内容 → awk 提取字段统计`