Linux 并发发送请求怎么实现?

2次阅读

linux并发请求核心是控制并发数、避免资源耗尽及处理超时错误;可用curl+xargs(简单批量)、python线程/asyncio(灵活定制)或go/rust(高性能长期运行),并需调优ulimit、somaxconn等系统参数。

Linux 并发发送请求怎么实现?

Linux 下并发发送请求,核心是利用多进程、多线程或异步 I/O 机制,绕过单请求串行等待的瓶颈。关键不在于“怎么发”,而在于“怎么管”——控制并发数、避免资源耗尽、处理超时和错误。

curl + xargs 并发调用(简单脚本场景)

适合批量 http 请求,如健康检查、批量通知。xargs 的 -P 参数可指定最大并行数,防止打爆目标或本地端口

seq 1 100 | xargs -P 10 -I {} curl -s -o /dev/null -w "%{http_code}n" "https://api.example.com/test?i={}"

  • -P 10 表示最多同时跑 10 个 curl 进程
  • -I {} 把每个数字代入 URL,实现参数化
  • -s 静默输出,用 -w 提取状态码,便于后续统计

用 Python 的 requests + threading 或 asyncio(灵活可控)

需要定制逻辑(如带 Token、重试、结果聚合)时更合适。同步多线程简单直接;异步(asyncio + aiohttp)吞吐更高,尤其 I/O 密集型:

# threading 示例(限制 20 线程) from concurrent.futures import ThreadPoolExecutor import requests <p>def fetch(url): return requests.get(url, timeout=5).status_code</p>                     <div class="aritcle_card">                         <a class="aritcle_card_img" href="/xiazai/gongju/1570">                             <img src="https://img.php.cn/upload/manual/000/000/017/169233859552299.png" alt="TeemIp - IPAM and DDI solution">                         </a>                         <div class="aritcle_card_info">                             <a href="/xiazai/gongju/1570">TeemIp - IPAM and DDI solution</a>                             <p>TeemIp是一个免费、开源、基于WEB的IP地址管理(IPAM)工具,提供全面的IP管理功能。它允许您管理IPv4、IPv6和DNS空间:跟踪用户请求,发现和分配IP,管理您的IP计划、子网空间、区域和DNS记录,符合最佳的DDI实践。同时,TeemIp的配置管理数据库(CMDB)允许您管理您的IT库存并将您的配置项(CIs)与它们使用的IP关联起来。项目源代码位于https://github.com/TeemIP</p>                             <div class="">                                 <img src="/static/images/card_xiazai.png" alt="TeemIp - IPAM and DDI solution">                                 <span>10</span>                             </div>                         </div>                         <a href="/xiazai/gongju/1570" class="aritcle_card_btn">                             <span>查看详情</span>                             <img src="/static/images/cardxiayige-3.png" alt="TeemIp - IPAM and DDI solution">                         </a>                     </div>                 <p>urls = [f"<a href="https://www.php.cn/link/2bb054c14409adcb28cb8d922e10a383">https://www.php.cn/link/2bb054c14409adcb28cb8d922e10a383</a>}" for i in range(100)] with ThreadPoolExecutor(max_workers=20) as ex: results = list(ex.map(fetch, urls))

  • 线程数不宜超过 50,太多反而因 GIL 和上下文切换拖慢
  • 异步方案推荐 aiohttp,单进程轻松支撑数百并发连接
  • 务必设 timeout,否则一个卡住的请求会拖垮整个池

用 Go 或 Rust 写轻量客户端(高性能/长期运行)

如果并发量大(如每秒上千请求)、要求低延迟或需嵌入其他服务,用 Go 更省心:

go func() {     for _, u := range urls {         go func(url string) {             resp, _ := http.Get(url)             defer resp.Body.Close()             // 处理 resp...         }(u)     } }()

  • Go 的 goroutine 开销极小,轻松启动上万并发 HTTP 客户端
  • 配合 semaphore 控制并发上限,避免文件描述符耗尽
  • Rust 用 tokio + reqwest 同样高效,内存更安全

注意系统级限制(常被忽略)

并发不是设个数字就完事。Linux 默认限制可能让你的“100 并发”实际只有 10 个在跑:

  • 检查并调大:ulimit -n(文件描述符数),HTTP 并发连接数直接受限于此
  • 临时提升:ulimit -n 65536(当前 shell 有效)
  • 确认 /proc/sys/net/core/somaxconnnet.ipv4.ip_local_port_range 足够宽
  • ss -snetstat -an | grep :80 | wc -l 观察真实连接数

基本上就这些。选哪种方式,取决于你手头的工具链、QPS 需求和维护成本偏好。脚本任务用 xargs,胶水逻辑用 Python,长期高负载用 Go/Rust,再配上合理的系统调优——并发请求就稳了。

text=ZqhQzanResources