python爬虫被识别主因是行为暴露“非人”特征。服务器通过请求频率、鼠标轨迹、js执行环境、http头、TLS指纹等多维建模识别；需动态UA、session管理、正态延时、Playwright替代Selenium、禁用webdriver、模拟真实鼠标移动、使用tls-client复刻TLS指纹。
Python爬虫被识别，往往不是因为用了requests还是selenium，而是行为暴露了“非人”特征。服务器通过请求频率、鼠标轨迹、JS执行环境、HTTP头细节、TLS指纹等多维度建模判断是否为真实浏览器，而多数Python脚本在这些环节天然露馅。
HTTP请求头与会话行为异常
直接用requests发请求时，User-Agent常固定不变，且缺少Accept、Accept-Language、Sec-Ch-Ua等现代浏览器必带的头部字段；cookie不随跳转自动管理，Referer缺失或错乱；两次请求间隔恒为0.1秒，形成完美等差数列——这在人类浏览中几乎不存在。
- 每次请求前动态生成合理UA（如从常见浏览器列表中随机选，并同步更新Sec-Ch-Ua）
- 启用Session对象管理Cookies，手动设置Referer与上一页URL一致
- 在请求间插入符合正态分布的随机延时（如均值1.2秒，标准差0.4秒），避开固定节奏
javaScript执行环境缺失
目标站点若依赖window.navigator、webgl指纹、AudioContext采样或canvas.toDataURL()生成设备指纹，requests和普通urllib完全无法执行JS，返回的html里关键数据为空或被遮蔽。即使加了headers，服务端仍可通过fetch调用失败、navigator.plugins长度为0等特征判定为无头环境。
- 优先考虑Playwright或Pyppeteer替代Selenium：它们默认启用真实Chromium，支持WebGL/Audio/Canvas完整上下文
- 禁用自动化特征：启动时添加
--disable-blink-features=AutomationControlled，并覆盖navigator.webdriver为undefined - 必要时注入JS补全缺失属性，例如伪造plugins、mimeTypes数组，但需注意版本一致性
鼠标与页面交互模式失真
用Selenium模拟点击时，若元素定位后立即click()，或move_to_element().click()路径是直线瞬移，缺乏加减速、微小偏移、悬停抖动等生物行为特征。高级反爬会记录鼠标移动轨迹的贝塞尔曲线拟合度、停留时间分布，甚至检测pointer-events触发顺序。
立即学习“Python免费学习笔记（深入）”；
- 使用ActionChains模拟真实移动：先move_by_offset(0,0)激活事件，再分段移动，每段加入50–200ms随机停顿
- 点击前在目标区域周边5–15像素内随机悬停300–800ms，模拟视觉确认过程
- 避免全页截屏或频繁get_attribute(“innerHTML”)，改用element.screenshot_as_png局部截图验证可见性
TLS指纹与网络层痕迹
Python默认ssl库（urllib3 + OpenSSL）握手时发送的ALPN协议列表、支持的加密套件顺序、TLS扩展排列，与chrome/firefox存在显著差异。一些WAF（如Cloudflare最新版）已将TLS指纹纳入实时风控模型，单纯换UA无效。
- 使用tls-client或curl_cffi库发起请求：它们复刻主流浏览器TLS握手指纹，支持自动同步Chrome版本变更
- 避免混用不同底层库（如requests + selenium共用同一IP），防止TCP连接池行为冲突暴露脚本逻辑
- 高敏感站点建议搭配 residential proxy，并确保每个IP只承载单一用户会话，会话间间隔不低于90秒