在scrapy爬虫中，若需将`parse()`中生成的日期变量传递至深层解析函数（如`parse_race()`），不能直接使用局部变量，而应通过spider实例属性（`self.scrapedate`）实现跨回调的数据共享。
Scrapy 的请求-响应流程是异步且基于回调的：每个 yield response.follow(…) 会发起新请求，并在后续由指定的 callback 函数处理其响应。这些回调函数运行在独立的作用域中，无法访问前一个函数内部定义的局部变量（如 scrapedate）。因此，原代码中 parse_race() 直接引用 scrapedate 会导致 NameError。
✅ 正确做法是将动态值作为 Spider 实例属性（instance Attribute） 存储，并在后续回调中通过 self 访问。注意：由于多个请求可能并发执行，必须确保每个请求携带其对应的上下文数据。推荐在每次生成请求时显式设置该属性（或更优地，使用 cb_kwargs 传参，见下文进阶方案）。
以下是修复后的核心代码结构（兼容多日期、线程安全）：
import scrapy from datetime import datetime, timedelta from dogscraper.items import Dogitem racedate = '2024-01-25' days = 2 realdate = datetime.strptime(racedate, '%Y-%m-%d').date() scrape_list = [(realdate - timedelta(days=x)).strftime('%Y-%m-%d') for x in range(days)] class DogspiderSpider(scrapy.Spider): name = "dogspider" allowed_domains = ["www.thedogs.com.au"] # start_urls 仅用于初始请求；实际多日期由 parse 动态生成 start_urls = ["https://www.thedogs.com.au/racing/" + racedate] def parse(self, response): for scrapedate in scrape_list: next_dateurl = 'https://www.thedogs.com.au/racing/' + scrapedate # ✅ 方案1：使用 cb_kwargs（推荐！更清晰、线程安全、无需维护状态） yield response.follow( next_dateurl, callback=self.parse_date, cb_kwargs={'scrapedate': scrapedate} # 将变量注入回调 ) def parse_date(self, response, scrapedate): # 接收 cb_kwargs 参数 nswmeetings = response.css('table.meeting-grid')[0] nswmeetings = nswmeetings.css('td.meetings-venues__name') for meeting in nswmeetings: meeting_url = meeting.css('a::attr(href)').get() if meeting_url: nextmeeting = 'https://www.thedogs.com.au' + meeting_url yield response.follow( nextmeeting, callback=self.parse_meeting, cb_kwargs={'scrapedate': scrapedate} # 向下透传 ) def parse_meeting(self, response, scrapedate): races = response.css('a.race-box.race-box--result') for race in races: race_url = race.css('::attr(href)').get() # 修正：race 已是 a 标签，无需再写 a. if race_url: nextrace = 'https://www.thedogs.com.au' + race_url yield response.follow( nextrace, callback=self.parse_race, cb_kwargs={'scrapedate': scrapedate} ) def parse_race(self, response, scrapedate): # 直接接收 scrapedate dogs = response.css('tr.accordion__anchor.race-runner') for dog in dogs: dog_item = DogItem() dog_item['date'] = scrapedate # ✅ 安全赋值 # ... 其他字段提取逻辑（如 name, time, position 等） yield dog_item? 关键说明：
- cb_kwargs 是 Scrapy 2.0+ 推荐的跨回调传参方式，它将字典参数绑定到单个请求，避免了 self.xxx 属性在并发请求中被覆盖的风险（例如：A 请求设 self.scrapedate=’2024-01-25’，B 请求设为 ‘2024-01-24’，若 B 先完成回调，A 的 parse_race 可能误用 B 的日期）。
- 所有回调函数签名需同步添加 scrapedate 参数（如 def parse_date(self, response, scrapedate):），Scrapy 会自动注入。
- 建议对 css().get() 结果做非空校验（如 if meeting_url:），防止因页面结构变化导致 None 串联异常。
? 总结：
永远不要依赖局部变量跨越 Scrapy 回调函数；优先使用 cb_kwargs 传递轻量上下文（如日期、ID、分类等）；若需共享复杂状态（如计数器、缓存），再考虑 self 属性并加锁（极少数场景）。此模式保障了代码的可读性、可维护性与并发安全性。