strace -p 发现进程卡在 read/writev/fsync 怎么继续深挖

10次阅读

进程卡在read/writev/fsync时,需分层定位阻塞点:先用带-s -yy -v选项的strace分析调用上下文与fd路径,再逐层检查文件系统、块设备、NFS或pipe/socket状态,结合/proc/PID/stack、perf和dmesg等内核视角工具确认等待原因,并排除ext4日志、XFS log满、NFS hard mount超时及硬件故障等常见陷阱。

strace -p 发现进程卡在 read/writev/fsync 怎么继续深挖

进程卡在 read/writev/fsync,说明它正阻塞在 I/O 操作上,但具体卡在哪一层(内核、设备、文件系统、存储介质),需要分层定位。不能只看 strace 输出,得结合上下文和系统状态交叉验证。

确认阻塞调用的完整上下文

strace -p 默认只显示系统调用入口,看不到参数细节和返回值。重新运行时加关键选项:

  • strace -p $PID -s 1024 -yy -v -e trace=read,writev,fsync,openat,close:-s 看长路径,-yy 显示文件描述符对应的真实路径,-v 显示结构体细节(比如 iovec 数组内容、fsync 的 fd 信息)
  • 观察调用前是否刚打开某个文件?fd 对应什么路径?是否是普通文件、设备、socket、pipe 或 /proc 下的特殊文件?
  • 注意 writev 的 iovec 长度和总字节数,判断是否在写大 buffer;fsync 是否针对一个刚写入大量数据的文件?

检查该 I/O 目标的状态和瓶颈点

拿到 fd 对应的路径后,逐层排查目标资源:

  • 如果是普通文件:ls -l /path/to/file 看属主、权限、挂载点;df -h /mount/pointfindmnt -D /mount/point 查文件系统类型(ext4/xfs/btrfs)、挂载选项(如是否带 syncbarriernoatime
  • 如果是块设备(如 /dev/sdb1)或裸设备:cat /proc/diskstats 看该设备的 I/O 等待(第10列)和平均队列长度;iostat -x 1 观察 %util、await、r_await/w_await、avgqu-sz
  • 如果是网络文件系统(NFS/CIFS):mount | grep nfs 查挂载参数(如 hard/nfsvers=3);rpcinfo -p $servershowmount -e $server 辅助判断服务端是否响应
  • 如果是 pipe/fifo/socket:lsof -p $PID 看对端进程是否存在、是否已关闭读端/写端;ss -tulpn | grep :port 查 socket 状态

用内核视角看 I/O 和等待原因

strace 只看到用户态阻塞,真正卡在哪要进内核看:

  • sudo cat /proc/$PID/stack(需开启 CONFIG_STACKTRACE)看当前内核函数调用链。若停在 __wait_event_commonwait_on_page_bit_commonblk_mq_wait_dispatch_queuednfs_wait_on_request 等,可直接定位到等待类型(页锁、块层队列、NFS 请求)
  • perf record -p $PID -e 'syscalls:sys_enter_*' -- sleep 5 抓 syscall 进入事件,再 perf script 分析高频阻塞点
  • 对 fsync 卡死特别有用:echo 1 > /proc/sys/vm/block_dump(临时)+ dmesg -w,可看到内核级 flush 日志,暴露 journal 等待、journal 提交卡住等问题(ext4 常见)

排除常见陷阱和配置问题

很多“卡住”其实是配置或环境导致的假性阻塞:

  • red”>ext4 + data=ordered + 大量小文件写入:fsync 会触发 journal 提交 + 元数据刷盘,极易被 dirty page 回写拖慢。查 /proc/sys/vm/dirty_*grep -i "dirty" /proc/mounts
  • XFS 日志满或 log device 卡住xfs_info /mount/point 查 log size;xfs_logprint -c /dev/logdev(慎用)看日志状态;iostat 看 log device 是否高 await
  • NFS hard mount + 服务端宕机:客户端会无限重试,默认超时长达数分钟。用 timeout 10 ls /nfs/path 测试是否真卡死
  • 磁盘硬件故障或 RAID 降级smartctl -a /dev/sdXcat /proc/mdstatdmesg | grep -i "Error|ata|nvme"
text=ZqhQzanResources