Linux LVS 负载均衡与调优方法

1次阅读

ip_vs模块未加载导致ipvsadm“connection refused”;dr模式需同时设arp_ignore=1于all和lo接口;ipvsadm无健康检查功能,须外挂keepalived等工具;conn_tab_size过小致高并发丢包,需按需调大。

Linux LVS 负载均衡与调优方法

为什么 ip_vs 模块没加载,ipvsadm 却提示“Connection refused”

这不是网络连通问题,而是内核模块根本没就位。lvs 的核心逻辑在内核态,ipvsadm 只是用户态控制工具,它通过 netlink 与内核通信——模块没加载,socket 连接直接被拒绝。

  • 先检查:lsmod | grep ip_vs,空输出就说明模块未加载
  • 手动加载:modprobe ip_vs(注意不是 ip_vs_rr 或其他调度模块)
  • 若报 Module not found,说明内核编译时未启用 CONFIG_IP_VS,需重装带 LVS 支持的内核或启用 ip_vs 作为模块(CONFIG_IP_VS=m
  • ip_vs_ship_vs_wrr 等调度模块可按需后加载,但 ip_vs 主模块必须最先加载

DR 模式下 Real Server 回环接口不响应 ARP,怎么配才不丢包

DR 模式要求 RS 不响应 VIP 的 ARP 请求,否则客户端会直连 RS,绕过 LVS 调度。常见错误是只禁了 lo 接口的 ARP 响应,却漏掉所有接口的全局抑制。

  • 必须同时设置:net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.lo.arp_ignore = 1
  • arp_ignore = 1 表示“只响应目标 IP 是接收接口主地址的 ARP 请求”,VIP 绑在 lo 上,所以 lo 必须设;all 是兜底,防其他接口意外响应
  • 别碰 arp_announce —— 它影响的是“从哪个接口发 ARP”,和 DR 的 ARP 抑制无关,设错反而导致 RS 自身无法解析网关 MAC
  • 配置完记得 sysctl -p 生效,且确认 lo:0 上 VIP 已用 ip addr add 添加(不是 ifconfig,后者不支持 modern network Namespace 语义)

ipvsadm -A -t-u 后端健康检查失效,真实原因是什么

LVS 本身不提供主动健康检查。所谓“检查失效”,其实是误以为 ipvsadm 内置了探活逻辑——它没有。你看到的“连接失败”只是连接建立阶段的 TCP SYN 超时,不是周期性探测。

  • ipvsadm-t(TCP)和 -uudp)只定义虚拟服务,后端健康状态完全依赖连接能否建立;一旦 RS 挂掉,新连接会因 SYN timeout 失败,但已有连接不会中断,也不会自动踢出节点
  • 真要健康检查,必须外挂工具:如 keepalivedvrrp_script + virtual_server,或 ldirectord,它们通过定期 curl/nc 检查后端并调用 ipvsadm -d/-a 动态增删 real server
  • 别依赖 ipvsadm -L --statsActiveConn 判断存活——它只统计当前 ESTABLISHED 连接数,RS 死机但连接未断时仍显示非零

高并发下 ip_vs_conn 表溢出,连接被随机丢弃怎么办

连接跟踪表(ip_vs_conn)默认大小通常只有 65536,每条连接占约 128 字节。当并发连接超限,新连接会被静默丢弃,现象是客户端偶发“Connection timed out”,ipvsadm -L --statsInActConn 激增但无错误提示。

  • 查当前上限:cat /proc/sys/net/ipv4/ip_vs_conn_tab_size
  • 临时调大:echo 262144 > /proc/sys/net/ipv4/ip_vs_conn_tab_size(值必须是 2 的幂)
  • 永久生效:写入 /etc/sysctl.conf,加一行 net.ipv4.ip_vs_conn_tab_size = 262144
  • 注意内存开销:表大小翻倍,内核内存占用也翻倍,32 万条约消耗 40MB 内存;超过 524288 需评估是否该切到更轻量的方案(如应用层负载均衡
  • 别混淆 ip_vs_conn_tab_sizenet.netfilter.nf_conntrack_max——后者是 netfilter 连接跟踪,LVS 不走那条路径

LVS 的调优关键不在参数砌,而在理解每个开关背后对应的内核行为边界。比如 arp_ignore 不是“让机器安静”,而是精确控制哪类 ARP 包该进协议conn_tab_size 也不是越大越好,它直接吃内核 slab 内存。这些点稍不留意,监控上看不出异常,但流量一上来就卡在最意想不到的地方。

text=ZqhQzanResources