怎么用PHP写爬虫_PHP爬虫入门简单实现方法【教程】

php适合快速抓取无反爬的静态页面，file_get_contents()最轻量但功能有限，curl_init()更灵活且能应对基础反爬，domDocument解析HTML需注意兼容性问题，简单需求优先用curl+json_decode()。

PHP 不适合写通用爬虫，但能快速抓取结构简单、无反爬的页面——前提是别碰 JavaScript 渲染内容、别高频请求、别绕过 robots.txt。

用 file_get_contents() 抓纯 HTML 页面

这是最轻量的方式，适合静态页面、内网接口或测试环境。它不支持设置 User-Agent、不自动处理重定向、无法控制超时精度，但胜在代码少、无依赖。

• 必须手动加 stream_context_create() 才能设超时和 headers，否则默认 60 秒且无 UA，容易被拒绝
• 遇到 302 跳转会直接失败，返回空或警告，得自己解析 location 头再发一次请求
• 如果目标页用了 gzip 压缩，file_get_contents() 默认不解压，需开启 zlib 扩展并配置 stream_context 的 http[encoding]

示例：

$opts = ['http' => ['method' => 'GET', 'header' => "User-Agent: PHP-curl/1.0rn", 'timeout' => 5]]; $content = file_get_contents('https://example.com', false, stream_context_create($opts));

用 curl_init() 处理常见反爬基础项

比 file_get_contents() 灵活得多，是 PHP 爬虫的实际起点。重点不是“能不能发请求”，而是“能不能像浏览器一样被接受”。

• 必须显式设置 CURLOPT_USERAGENT，否则多数站点返回 403
• CURLOPT_FOLLOWLOCATION 要配合 CURLOPT_MAXREDIRS 使用，不然重定向环会卡死
• 开启 CURLOPT_RETURNTRANSFER，否则结果直接输出到页面，没法解析
• HTTPS 页面若报 ssl certificate problem，不是去关证书验证（CURLOPT_SSL_VERIFYPEER=false），而是检查系统 CA 证书路径是否正确（用 CURLOPT_CAINFO 指向 curl-ca-bundle.crt）

用 DOMDocument 解析 HTML 容易崩在哪

它不是为现代网页设计的：对自闭合标签（如 ）、未闭合标签（如

xxx

yyy

Misum AI

一站式聚合多模型AI问答工具

下载

）、html5 标签（

）容忍度低，一解析就报 warning 或结构错乱。

立即学习“PHP免费学习笔记（深入）”；

• 务必先用 libxml_use_internal_errors(true) 屏蔽警告，否则解析失败还看不到错误原因
• 加载前建议用 mb_convert_encoding() 统一转成 UTF-8，否则中文乱码导致 getElementsByTagName() 匹配不到
• 不要依赖 saveHTML() 输出“干净 HTML”——它会重写整个文档结构，class 顺序可能变、空格被删、甚至把

  改成

为什么不用 simple_html_dom 或 phpQuery

它们封装了 DOM 操作，写起来像 jquery，但底层还是调 DOMDocument，性能更差、内存占用高、PHP 8+ 兼容性问题多。一个 2MB 的 HTML 页面，simple_html_dom 可能吃掉 200MB 内存，而原生 DOMDocument + XPath 控制好加载选项只要 30MB。

• simple_html_dom 不支持命名空间，遇到 XML-like HTML（比如含 xmlns）直接解析失败
• 所有基于字符串正则解析 HTML 的做法（比如 preg_match_all('/）在遇到换行、属性值含 、CDATA 段时必然翻车
• 真正要选第三方库，symfony/dom-crawler 更稳，但它需要 composer 和完整 HTTP 客户端配合，已超出“简单实现”范畴

真实项目里，90% 的 PHP 爬虫需求其实只是定时拉几个固定格式的 JSON 接口或 RSS，这时候直接用 curl + json_decode() 就够了——HTML 解析才是那个容易把自己绕进去的坑。