Python爬虫如何批量爬取多层级目录网站的结构化策略【教程】

批量爬取多层级目录网站需先分析URL规律与数据格式，再用BFS队列控制深度、去重和结构化存储，最后添加延迟、robots.txt校验等基础防护。

批量爬取多层级目录网站，核心在于识别目录规律、控制爬取深度、避免重复、结构化存储

一、先理清网站的层级逻辑

不是所有多级目录都靠“点击下一页”推进。常见结构有：
• 路径型：/category/parent/child/grandchild/
• 参数型：?level=1&id=123&subid=456
• 混合型：/api/v2/nodes/?parent_id=789&depth=2
用浏览器开发者工具（Network → XHR/Fetch）抓几个目录页，看请求 URL 和返回数据格式（html 还是 jsON），确认是否需要登录、是否有反爬 header（如 Referer、X-Requested-With）。

二、用队列 + 深度限制实现可控遍历

别用递归，容易栈溢出或失控。推荐 BFS 队列方式：

• 初始化队列：放入根目录 URL，标记 depth=0
• 循环取 URL：若 depth
• 用 set 或数据库记录已访问 URL（建议用 URL 的规范化哈希值，如 hashlib.sha256(url.encode()).hexdigest()），防止循环跳转

三、结构化提取关键字段并分层存档

每层目录通常对应一个业务维度（如“省份→城市→区县→街道”）。建议按层级建字典结构：

{   "level": 0,   "url": "https://example.com/provinces",   "name": "全国省份",   "children": [     {       "level": 1,       "url": "https://example.com/provinces/beijing",       "name": "北京市",       "children": [...]     }   ] }

保存时用 json Lines（.jsonl）格式，每行一条记录，便于后续用 pandas 流式读取；也可导出为 sqlite，加索引加速按 level / parent_url 查询。

OneStory

OneStory 是一款创新的AI故事生成助手，用AI快速生成连续性、一致性的角色和故事。

319

查看详情

立即学习“Python免费学习笔记（深入）”；

四、加基础防护，降低被封风险

不是为了绕过，而是尊重网站规则：

• 遵守 robots.txt（用 urllib.robotparser 检查）
• 设置合理 delay（如 random.uniform(1, 3) 秒），用 time.sleep() 控制节奏
• 复用 requests.session()，自动管理 cookie 和连接池
• 对 403/429 响应主动暂停（如 sleep(60)），并记录失败 URL 备查

基本上就这些。不复杂但容易忽略的是：目录结构可能动态渲染（需 Playwright/Selenium）、部分子页无实际内容（需判断 body/text 长度或特定 class 是否存在）、中文 URL 要 urlquote 处理。理清目标站点的真实结构，比写多少代码都重要。