Scrapy 中跨解析函数传递变量的正确方法

在 scrapy 中，局部变量无法直接在不同回调函数（如 parse → parse_date → parse_race）间共享；需通过 self 将其设为实例属性，才能在后续回调中安全访问。

在 Scrapy 爬虫中，每个 yield scrapy.Request(…, callback=xxx) 触发的回调函数都是独立执行的协程，彼此不共享作用域。你代码中定义的 scrapedate 是 parse() 函数内的局部变量，仅在其函数体内有效；当执行到 parse_race() 时，该变量早已超出作用域，因此抛出 NameError: name ‘scrapedate’ is not defined。

✅ 正确做法是：将 scrapedate 提升为爬虫实例的属性（Attribute），通过 self.scrapedate 在整个爬虫生命周期内维护和传递上下文信息。

以下是修正后的关键代码段（已整合逻辑并增强健壮性）：

import scrapy from datetime import datetime, timedelta from dogscraper.items import Dogitem  racedate = '2024-01-25' days = 2 realdate = datetime.strptime(racedate, '%Y-%m-%d').date() scrape_list = [(realdate - timedelta(days=x)).strftime('%Y-%m-%d') for x in range(days)]  class DogspiderSpider(scrapy.Spider):     name = "dogspider"     allowed_domains = ["www.thedogs.com.au"]     # start_urls 可省略，因我们动态生成初始请求     start_urls = []      def start_requests(self):         # 更规范地初始化首批请求（替代硬编码 start_urls）         for scrapedate in scrape_list:             url = f"https://www.thedogs.com.au/racing/{scrapedate}"             yield scrapy.Request(url, callback=self.parse_date, cb_kwargs={'scrapedate': scrapedate})      def parse_date(self, response, scrapedate):         # 使用 cb_kwargs 传递参数，比 self 属性更清晰、线程安全、无状态污染         try:             nswmeetings = response.css('table.meeting-grid')[0]             venues = nswmeetings.css('td.meetings-venues__name a::attr(href)').getall()             for venue_url in venues:                 full_url = response.urljoin(venue_url)                 yield scrapy.Request(                     full_url,                     callback=self.parse_meeting,                     cb_kwargs={'scrapedate': scrapedate}                 )         except IndexError:             self.logger.warning(f"No meeting grid found for date {scrapedate}")      def parse_meeting(self, response, scrapedate):         race_links = response.css('a.race-box.race-box--result::attr(href)').getall()         for race_url in race_links:             full_url = response.urljoin(race_url)             yield scrapy.Request(                 full_url,                 callback=self.parse_race,                 cb_kwargs={'scrapedate': scrapedate}             )      def parse_race(self, response, scrapedate):         dogs = response.css('tr.accordion__anchor.race-runner')         for dog in dogs:             dog_item = DogItem()             dog_item['date'] = scrapedate  # ✅ 安全获取日期             # 补充其他字段提取逻辑（如 name, time, position 等）             # dog_item['name'] = dog.css('td:nth-child(2)::text').get().strip()             yield dog_item

? 关键改进说明：

• ✅ 推荐使用 cb_kwargs：Scrapy 原生支持通过 cb_kwargs 向回调函数传递任意关键字参数，语义清晰、线程安全、避免实例属性被并发请求意外覆盖（尤其在 CONCURRENT_REQUESTS > 1 时）。
• ❌ 避免 self.scrapedate = … 方式：在高并发下，多个 parse() 迭代可能竞争修改同一属性，导致 parse_race() 读取到错误的日期。
• ✅ start_requests() 替代 start_urls：更灵活地控制初始请求构造与参数绑定。
• ✅ response.urljoin()：确保链接拼接兼容相对路径，提升鲁棒性。
• ✅ 添加异常处理：防止因页面结构变化（如无 meeting-grid）导致整个爬虫中断。

? 总结：Scrapy 的回调链本质是异步事件流，不要依赖局部变量跨回调传递数据。始终优先使用 cb_kwargs 传递轻量上下文（如日期、ID、分类标签等）；若需共享复杂状态（如会话 Token、计数器），再谨慎设计线程安全的实例属性或使用 meta 字典（但 cb_kwargs 更简洁、类型友好）。