在使用php脚本检查大量url状态时，传统的`get_headers()`方法进行顺序请求可能导致`err_connection_reset`错误，尤其是在短时间内发起大量请求时，服务器可能触发ip限制或防火墙规则。本文将深入分析此问题，并提供一个基于curl multi的健壮解决方案，通过并发处理有效避免连接重置，显著提升检查效率和稳定性。
在开发需要批量检查远程文件或页面存在性的php脚本时，开发者常常会遇到连接问题，其中最常见且令人困惑的是ERR_CONNECTION_RESET。当尝试使用get_headers()等函数进行大量顺序请求时，即使引入了sleep()延迟，也可能在检查少量链接后出现此错误，导致后续请求失败，甚至影响同一IP地址通过浏览器访问这些链接。
理解ERR_CONNECTION_RESET问题根源
ERR_CONNECTION_RESET错误通常表示服务器主动关闭了连接。这并非偶然，而是服务器或中间网络设备（如防火墙、负载均衡器、ddos防护系统）在检测到异常或可疑行为时采取的防御措施。对于PHP脚本来说，以下行为可能触发此类防御：
- 高频请求: 在短时间内从单个IP地址向同一服务器发起大量请求，即使每次请求之间有短暂延迟（如sleep(3)），其整体频率仍可能被识别为自动化脚本或潜在的攻击行为。
- 资源消耗: 每次get_headers()调用都会建立一个新的TCP连接，如果同时处理的连接过多，或者连接建立/关闭过于频繁，可能会消耗服务器资源，导致其拒绝后续连接。
- 用户代理缺失或异常: 许多服务器会检查请求的User-Agent头。如果脚本不设置或设置了非标准的User-Agent，可能会被视为非浏览器请求而遭到拦截。
- IP限制: 目标服务器可能对特定IP地址在特定时间内的请求数量设置了硬性限制。一旦超出，就会暂时或永久地阻止该IP的连接。
sleep()函数虽然能增加请求间隔，但它无法改变请求的本质——它们依然是顺序执行的，并且每次请求都独立建立连接。这种模式容易被服务器的智能防御系统识别，并最终导致连接重置。
解决方案：使用curl Multi进行并发请求
解决ERR_CONNECTION_RESET和提高效率的关键在于并发请求。PHP的cURL库提供了curl_multi系列函数，允许我们同时管理多个cURL句柄，以非阻塞的方式执行多个http请求。这样，脚本可以一次性发起多个请求，等待它们并行完成，从而显著减少总耗时，并改变请求模式，降低被服务器识别为恶意行为的风险。
立即学习“PHP免费学习笔记（深入）”；
cURL Multi的工作原理是：
- 创建一个cURL Multi句柄。
- 为每个URL创建一个独立的cURL句柄，并设置相应的请求选项（如只获取头部、不返回内容等）。
- 将所有独立的cURL句柄添加到Multi句柄中。
- 通过循环调用curl_multi_exec()来持续执行这些请求，直到所有请求完成。
- 在请求完成后，遍历每个独立的cURL句柄，获取其执行结果（如HTTP状态码）。
- 关闭所有句柄。
这种方式不仅提高了效率，因为它不需要等待一个请求完全完成后再发起下一个，而且服务器在同一时间内可能会看到来自同一IP的多个并发连接，而不是一系列快速的独立连接，这在某些情况下可能更不容易触发防御机制。
示例代码：使用cURL Multi检查URL状态
以下是一个使用cURL Multi来并发检查多个URL是否存在的文件，并记录结果的php函数示例：
<?php /** * 检查一系列版本化URL文件的存在性，使用cURL Multi进行并发请求。 * * 解决了get_headers()在批量请求时可能导致的ERR_CONNECTION_RESET问题。 */ function checkAllUrlsConcurrently() { $revisionNumber = 25; $minorNumber = 2; $buildNumber = 128; // 从这个版本号开始递减检查 // 初始化cURL Multi句柄 $multiCurl = curl_multi_init(); // 用于存储每个cURL句柄及其对应的版本号，方便后续处理 $curlHandles = []; // 循环构建所有需要检查的URL，并为每个URL创建独立的cURL句柄 for ($x = $buildNumber; $x > 0; $x--) { $combinedUrl = 'http://update.example.com/Files/Updates/6.' . $revisionNumber . '.' . $minorNumber . '.' . $x . '/application7_' . $revisionNumber . '_' . $minorNumber . '_' . $x . '_de_FullInstallerx64.exe'; // 初始化单个cURL句柄 $curl = curl_init(); // 设置cURL选项 curl_setopt($curl, CURLOPT_URL, $combinedUrl); curl_setopt($curl, CURLOPT_FILETIME, true); // 获取远程文件时间，如果需要 curl_setopt($curl, CURLOPT_NOBODY, true); // 只获取HTTP头部信息，不下载文件内容 curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); // 将结果作为字符串返回，而不是直接输出 curl_setopt($curl, CURLOPT_HEADER, true); // 包含响应头到返回字符串中 curl_setopt($curl, CURLOPT_TIMEOUT, 10); // 设置连接超时时间为10秒 curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 5); // 设置连接建立超时时间为5秒 // 可选：设置User-Agent，模拟浏览器请求，降低被服务器拦截的风险 // curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (windows NT 10.0; Win64; x64) appleWebKit/537.36 (Khtml, like Gecko) Chrome/91.0.4472.124 safari/537.36'); // 将单个cURL句柄添加到cURL Multi句柄中 curl_multi_add_handle($multiCurl, $curl); // 存储句柄和对应的版本号 $curlHandles[] = ['curl' => $curl, 'build' => $x]; } // 执行所有并发请求 $running = null; // 用于跟踪正在运行的cURL句柄数量 do { // 循环执行cURL Multi句柄，直到所有请求完成或有错误发生 $status = curl_multi_exec($multiCurl, $running); // 如果有正在运行的请求，并且没有错误，则等待套接字活动 if ($running && $status == CURLM_OK) { curl_multi_select($multiCurl); // 阻塞直到有活动发生 } } while ($running > 0 && $status == CURLM_OK); // 当还有请求在运行且没有错误时继续 // 处理每个请求的结果 foreach ($curlHandles as $item) { $curl = $item['curl']; $build = $item['build']; file_put_contents('log.txt', "Checking Build: " . $build . "n", FILE_APPEND); // 获取HTTP状态码 $httpCode = curl_getinfo($curl, CURLINFO_HTTP_CODE); // 获取实际请求的URL，以防重定向 $combinedUrl = curl_getinfo($curl, CURLINFO_EFFECTIVE_URL); if ($httpCode === 404) { $exists = "no"; file_put_contents('log.txt', $combinedUrl . " - " . "does not exist. n", FILE_APPEND); } else if ($httpCode >= 200 && $httpCode < 300) { // 2xx 范围表示成功 $exists = "yes"; file_put_contents('log.txt', $combinedUrl . " - " . "exists. n", FILE_APPEND); } else { // 处理其他HTTP状态码，例如3xx重定向，5xx服务器错误等 $exists = "unknown/error"; file_put_contents('log.txt', $combinedUrl . " - " . "returned HTTP " . $httpCode . ". n", FILE_APPEND); } // 从cURL Multi句柄中移除已处理的单个cURL句柄 curl_multi_remove_handle($multiCurl, $curl); // 关闭单个cURL句柄 curl_close($curl); } // 关闭cURL Multi句柄 curl_multi_close($multiCurl); } // 调用函数执行检查 checkAllUrlsConcurrently(); ?>关键注意事项与最佳实践
- 错误处理: 在实际应用中，应增加对curl_multi_exec()和curl_multi_select()返回值的错误检查，以及对每个独立cURL句柄的curl_error()检查，以确保请求的健壮性。
- 并发数控制: 虽然cURL Multi支持并发，但一次性发起过多的并发请求可能会耗尽本地系统资源（如文件描述符）或对目标服务器造成过大压力。可以考虑实现一个“池”机制，限制同时活跃的请求数量。
- 超时设置: CURLOPT_TIMEOUT和CURLOPT_CONNECTTIMEOUT是至关重要的选项，它们可以防止脚本因某个请求卡住而无限等待。
- User-Agent: 模拟一个常见的浏览器User-Agent可以帮助请求更自然地通过服务器的检测。
- 资源清理: 务必在所有请求处理完毕后，使用curl_multi_remove_handle()移除每个独立的cURL句柄，并用curl_close()关闭它们，最后用curl_multi_close()关闭Multi句柄，以释放系统资源。
- HTTP状态码: 仔细检查CURLINFO_HTTP_CODE，区分404 Not Found、200 OK以及其他可能的错误码（如5xx服务器错误，3xx重定向等），从而更准确地判断文件状态。
- 日志记录: 详细的日志记录对于调试和监控非常重要，可以记录请求的URL、HTTP状态码以及任何错误信息。
总结
当PHP脚本在批量检查URL时遇到ERR_CONNECTION_RESET问题，这通常是由于服务器的防御机制被触发。传统的顺序请求方法难以规避此类问题。通过采纳cURL Multi方案，开发者可以实现高效、并发的URL状态检查，显著提升脚本的执行效率和稳定性，同时有效避免因请求模式被识别而导致的连接重置问题。正确配置cURL选项并实施适当的错误处理和资源管理，将确保这一过程的可靠性。