Linux 网络延迟高的可能原因

7次阅读

网卡驱动或固件过旧、网络参数配置不当、ARP冲突或广播风暴、容器/虚拟化转发跳数过多是导致延迟抖动的四大主因,需分别通过ethtool、sysctl、tcpdump、perf等工具定位并优化。

Linux 网络延迟高的可能原因

网卡驱动或固件过旧导致延迟抖动

老旧驱动常无法正确处理高吞吐下的中断合并、RSS 队列分配或TSO/GSO卸载,引发软中断积和延迟突增。特别是某些 Realtek、Intel I210 或 Broadcom BCM57xx 网卡在内核 5.4 之前版本中存在已知的 tx_timeout 延迟问题。

实操建议:

  • 运行 ethtool -i eth0 查看驱动名与版本,比对厂商官网最新固件;
  • 升级前先用 ethtool -K eth0 gso off tso off 临时关闭卸载功能,观察延迟是否收敛;
  • 若使用 Intel 网卡,确认是否启用了 irqbalance,并检查 /proc/interrupts 中对应网卡 IRQ 是否集中在单个 CPU 核上。

网络参数配置不当放大 RTT 波动

默认 TCP 参数在高延迟或高丢包链路下容易触发重传退避、窗口收缩,表现为 ping 延迟忽高忽低,tcpping 显示超时率上升。典型诱因包括过小的 .net.ipv4.tcp_rmem 缓冲区、未启用 tcp_slow_start_after_idle 关闭、或 net.core.netdev_max_backlog 过低导致队列溢出丢包。

实操建议:

  • ss -i 观察连接的 cwndrttvar,若 rttvar 持续 >100ms,说明 RTT 估计不稳定;
  • 临时调大接收缓冲:执行 sysctl -w net.ipv4.tcp_rmem="4096 65536 8388608"
  • 禁用空闲后慢启动(避免突发流量被限速):sysctl -w net.ipv4.tcp_slow_start_after_idle=0
  • 检查 net.core.netdev_max_backlog 是否小于当前接口 PPS,可设为 5000 或更高。

同一物理网段存在 ARP 冲突或广播风暴

局域网内异常设备持续发送伪造 ARP 响应、DHCP 请求泛洪或生成树协议(STP)震荡,会导致主机频繁刷新 arp -a 表项、触发 gratuitous ARP,并使内核 neighbour 子系统陷入高频垃圾回收,间接拖慢 IP 层转发路径。

实操建议:

  • tcpdump -i eth0 arp or broadcast 抓包,过滤出异常源 mac 的 ARP 流量;
  • 检查 /proc/net/neigh/eth0/statsfailedunresolv 计数是否持续增长;
  • 临时锁定关键网关 ARP 条目:ip neigh replace 192.168.1.1 lladdr 00:11:22:33:44:55 dev eth0 nud permanent
  • 若交换机可控,开启 DHCP Snooping 和 ARP Inspection 功能。

容器或虚拟化环境引入额外转发跳数

使用 docker 默认桥接模式、kubernetes Calico/Flannel 或 KVM 的 virtio-net + iptables 规则链时,每个数据包可能经历多次 netfilter hook(如 FORWARDPOSTROUTING),尤其当启用 conntrack 且连接数超限时,nf_conntrack 查找会成为瓶颈,表现为延迟毛刺与 dmesg 中大量 "nf_conntrack: table full" 日志。

实操建议:

  • perf record -e 'net:*' -a sleep 10 采样,查看是否大量命中 nf_hook_slow
  • 检查 conntrack 使用量:conntrack -S,若 entries 接近 max,需调大 net.netfilter.nf_conntrack_max
  • 对非必要服务禁用 conntrack:iptables -t raw -A PREROUTING -p tcp --dport 8080 -j NOTRACK
  • 容器场景优先选用 hostNetwork 或 CNI 插件的 eBPF 模式(如 Cilium),绕过 iptables 路径。

真实环境中,延迟高往往不是单一原因,而是驱动缺陷叠加 conntrack 拥塞再遇上 ARP 异常的组合。最易被忽略的是:你以为在测“网络”,其实瓶颈在内核协议栈某处锁竞争(比如 __nf_ct_lookup 持有 nf_conntrack_lock)或网卡 ring buffer 溢出后丢弃了 ACK 包——这时 ping 看似正常,但应用层 TCP 吞吐已断崖下跌。

text=ZqhQzanResources