答案：使用文件、数据库、持久化队列或检查点机制可实现爬虫进度记录与恢复。1. 文件记录已抓取URL或ID，通过set去重，避免重复请求；2. 数据库存储状态字段，支持断点续传与失败重试；3. 持久化队列如diskcache或redis保障任务不丢失；4. 定期保存检查点适用于分页抓取。

在使用python编写爬虫时，面对大规模数据抓取任务，程序中途停止（如网络异常、系统崩溃）会导致重复抓取或数据丢失。因此，实现爬取进度的记录与恢复机制非常关键。下面介绍几种实用的方法来管理爬取进度。

1. 使用文件记录已爬取的URL或ID

最简单直接的方式是将已经成功抓取的URL或唯一标识（如文章ID）保存到本地文件中，比如文本文件或jsON文件。

操作建议：

• 每次成功抓取一个页面后，将其URL或ID写入文件。
• 启动爬虫前先读取该文件，构建一个已处理集合（set），避免重复请求。
• 使用追加模式（’a’）写入，防止覆盖已有记录。

示例代码片段：

<font face="Courier New,Courier,monospace">processed = set() # 加载已处理的ID try:     with open('processed.txt', 'r') as f:         processed = {line.strip() for line in f} except FileNotFoundError:     pass <h1>爬取逻辑</h1><p>for item_id in all_ids: if item_id in processed: continue</p><h1>抓取并解析</h1><pre class='brush:python;toolbar:false;'>data = fetch_data(item_id) save_data(data) # 记录完成 with open('processed.txt', 'a') as f:     f.write(item_id + 'n') processed.add(item_id)</font></pre>

2. 利用数据库管理状态

对于较复杂的项目，推荐使用sqlite、mysql或MongoDB等数据库存储爬取状态。

立即学习“Python免费学习笔记（深入）”；

优势：

• 支持结构化字段，如url、status（待抓取/成功/失败）、timestamp等。
• 便于查询和更新，可实现断点续传和失败重试。
• 并发控制更友好。

建一张表记录任务队列，每条记录包含状态标记。爬虫启动时只处理status=’pending’的任务，完成后更新为’success’。

3. 使用持久化队列避免内存丢失

如果使用队列管理待抓取链接（如广度优先遍历），普通队列在程序中断后无法恢复。可以采用持久化队列方案。

百度·度咔剪辑

度咔剪辑，百度旗下独立视频剪辑App

3

查看详情

推荐工具：

• diskcache：将队列存到磁盘，API简单，适合中小型项目。
• Redis + RQ：适合分布式场景，自动持久化任务队列。
• scrapy-Redis：结合Scrapy框架实现跨机器任务共享与断点恢复。

4. 定期保存检查点（Checkpoint）

对于长周期任务，可以每隔一段时间或一定数量请求后，保存当前进度到文件或数据库。

例如：每抓取100条数据，记录最后一个处理的索引位置。下次运行时从该位置继续。

这种方式适合按页或按序号分页的接口抓取，比如?page=1&start=100。

基本上就这些常见做法。选择哪种方式取决于项目规模和复杂度。小项目用文件记录足够，大项目建议上数据库或专用队列系统。关键是保证每次成功操作都能及时落盘，避免重复劳动。