ASG Node 数据盘挂载失败

Mon, 01 Dec 2025 11:45:14 +0800

问题背景

data 数据盘挂载失败，日志文件会写入根盘，导致磁盘多次报警

内核还没有来得及刷新分区表生成 /dev/nvme1n1p1 设备文件，就执行mkfs 命令，导致格式化失败。

解决方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


...
yum install parted -y
mkdir -p /data
parted -s /dev/nvme1n1 -- mklabel gpt
parted -s /dev/nvme1n1 -- mkpart primary ext4 0% 100%
partprobe /dev/nvme1n1
udevadm settle
while [ ! -e /dev/nvme1n1p1 ]; do sleep 1; done
mkfs -t ext4 /dev/nvme1n1p1
mount /dev/nvme1n1p1 /data
echo '/dev/nvme1n1p1 /data ext4 defaults 0 0' >> /etc/fstab
...

parted 中 0 与 0% 的区别

0：表示强制要求分区从磁盘的第 0 个字节/扇区开始。
0%：自动对齐，最佳对齐点开始分区。parted 会自动跳过前面的保留空间，通常将起始位置设定在扇区 2048 开始。

partprobe /dev/nvme1n1

通知内核（Kernel）立即重读分区表

udevadm settle

阻塞（暂停）脚本执行，直到 udev 处理完所有设备事件。所有设备文件都创建好，脚本才能继续执行。

用户数据脚本

用户脚本位置： /var/lib/cloud/instance/user-data.txt

日志位置： /var/log/cloud-init-output.log

容器网络影响宿主机入网问题排查

Wed, 26 Nov 2025 10:38:20 +0800

容器网络影响宿主机入网问题排查

问题描述

发现172.27.0.0/16，172.26.0.0/16 网段的服务无法访问宿主机的服务

问题排查

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


docker network ls
NETWORK ID NAME DRIVER SCOPE
8eacdcbf22d7 7b-full_default bridge local
f22af6f77037 bridge bridge local
4a56201be716 host host local
6e36d25cdbb0 llama2-13b-lora_default bridge local
fb2839792d18 llama3-8b_lora_default bridge local
d1f916892b02 none null local
2c9c2578ecce tgi_default bridge local
446845acbad5 v2-9b_default bridge local
d1301d605f3c v2-27b-it_default bridge local
c3d523d51ee4 v3-8b_default bridge local
1d3cf7bd9665 v4-9b_default bridge local
59aecf59ca81 v31-8b_default bridge local
42cca879c18f webui-docker_default bridge local

发现1d3cf7bd9665、1d3cf7bd9665占用了172.27.0.0/16，172.26.0.0/16 网段，导致路由冲突。Linux 内核的路由机制会优先选择最匹配的路由，它会覆盖默认路由，流量会被错误的流向docker。

解决方法

修改docker 配置，不使用冲突网段

1
2
3
4
5
6
7
8
9


{
 "bip": "192.168.100.1/24",
 "default-address-pools": [
 {
 "base": "192.168.200.0/20",
 "size": 24
 }
 ]
}

创建容器时使用特定网络

docker network create –subnet=xx.xx.xx.xx/24 my_custom_network

如果必须保留冲突网段，修改宿主机路由，让外部网络优先

1
2


ip route del 172.27.0.0/16
ip route add 172.27.0.0/16 via <外部网关> metric 100

Troubleshooting on HRunning

ASG Node 数据盘挂载失败

问题背景

解决方法

parted 中 0 与 0% 的区别

partprobe /dev/nvme1n1

udevadm settle

用户数据脚本

容器网络影响宿主机入网问题排查

容器网络影响宿主机入网问题排查

问题描述

问题排查

解决方法

修改docker 配置，不使用冲突网段

创建容器时使用特定网络

如果必须保留冲突网段，修改宿主机路由，让外部网络优先