本教程详细介绍了如何通过直接调用yahoo finance的内部api来高效、准确地抓取特定日期的公司财报数据。针对传统html解析在动态加载页面上失效的问题，文章提供了基于`requests`库的api请求方法，包括请求头、参数、json查询体的构建，以及如何处理动态cookie和crumb值，确保稳定获取财报信息。
1. 理解传统爬取方法的局限性
在使用python进行网页数据抓取时，requests库结合beautifulsoup是常见的组合。然而，对于许多现代网站，尤其是那些大量依赖javaScript动态加载内容的网站，这种方法会遇到瓶颈。
以Yahoo Finance的财报日历页面为例，如果尝试直接请求其URL（例如https://finance.yahoo.com/Calendar/earnings?day=YYYY-MM-DD）并使用BeautifulSoup解析返回的html，可能会发现无法获取到预期的财报数据，或者获取到的数据并非指定日期的最新信息。这通常是因为页面上的财报列表是通过javascript在浏览器端异步请求后端API后渲染的，而requests库只获取了初始的静态HTML内容，并未执行JavaScript。
例如，以下尝试获取“昨天”财报的初始代码片段，可能会因为上述原因而失败，导致获取到非预期日期（如周末）的数据：
import requests from bs4 import BeautifulSoup as bs from datetime import date, timedelta today = date.today() # 假设我们想获取上一个交易日的财报 # 如果今天是周日，timedelta(days=2) 会得到周五 # 但这种简单计算不总是可靠，特别是在处理周末和节假日时 yesterday_attempt = today - timedelta(days=2) url = f"https://finance.yahoo.com/calendar/earnings?day={yesterday_attempt}" page = requests.get(url) soup = bs(page.text, 'html.parser') # 尝试从soup中查找财报符号，可能会得到错误日期的数据 # print(soup.find('a', 'Fw(600) C($linkColor)').text)
这种方法的失败表明，我们需要一种更深入的方式来与网站交互。
立即学习“Python免费学习笔记（深入）”；
2. 发现并利用Yahoo Finance的内部API
当传统的HTML解析方法失效时，通常意味着网站通过API进行数据交换。我们可以通过浏览器的开发者工具（通常按F12打开）来监控网络请求，从而发现这些隐藏的API。
在Yahoo Finance的财报日历页面，通过观察网络请求，可以发现它向一个特定的API端点发送POST请求来获取财报数据：https://query2.finance.yahoo.com/v1/finance/visualization。这个API返回的数据是jsON格式，结构清晰，非常适合程序化抓取。
3. 构建API请求获取财报数据
要成功调用这个API，我们需要模拟浏览器发送的POST请求，包括正确的请求头、查询参数和json请求体。
3.1 确定目标日期
首先，我们需要一个健壮的方法来确定要查询的日期，例如“上一个交易日”。
from datetime import date, timedelta def get_last_trading_day(current_date: date) -> date: """ 获取给定日期之前的最近一个交易日。 如果给定日期是周末，则回溯到上一个周五。 """ target_date = current_date # 0=Monday, 1=Tuesday, ..., 4=Friday, 5=Saturday, 6=Sunday while target_date.weekday() >= 5: # 如果是周六或周日 target_date -= timedelta(days=1) return target_date # 示例：获取今天的上一个交易日 today = date.today() last_trading_day = get_last_trading_day(today) # API查询需要一个日期范围，通常是目标日期当天 start_date_str = last_trading_day.strftime("%Y-%m-%d") end_date_str = (last_trading_day + timedelta(days=1)).strftime("%Y-%m-%d") # 范围是 [start_date, end_date)
3.2 构造请求参数和数据
API请求主要由以下几部分组成：
- 请求头（Headers）: 模拟浏览器行为，User-Agent是必需的。
- URL参数（Params）: 包含一些元数据，如crumb、lang、region等。其中crumb是一个动态值，通常用于防止csrf攻击，需要从Yahoo Finance的其他页面（如主页或任何股票详情页）的HTML中提取，或者通过观察API请求获取。
- JSON请求体（Query Payload）: 这是核心部分，定义了我们想要查询的数据类型、字段、日期范围、分页和排序方式。
import requests from datetime import date, timedelta # 1. 确定目标日期 today = date.today() last_trading_day = get_last_trading_day(today) # 使用上面定义的函数 start_date_str = last_trading_day.strftime("%Y-%m-%d") end_date_str = (last_trading_day + timedelta(days=1)).strftime("%Y-%m-%d") # 2. 定义请求头 headers = { "User-Agent": "Mozilla/5.0 (windows NT 10.0; Win64; x64) appleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Accept": "application/json, text/javascript, */*; q=0.01", "Content-Type": "application/json", "X-Requested-With": "XMLHttpRequest", "Referer": "https://finance.yahoo.com/calendar/earnings", } # 3. 定义URL和URL参数 url = "https://query2.finance.yahoo.com/v1/finance/visualization" params = { "crumb": "YOUR_CRUMB_VALUE_HERE", # 此值通常是动态的，需要从浏览器开发者工具中获取 "lang": "en-US", "region": "US", "corsDomain": "finance.yahoo.com", } # 4. 定义JSON请求体 (query payload) query_payload = { "entityIdType": "earnings", "includeFields": [ "ticker", "companyshortname", "eventname", "startdatetime", "startdatetimetype", "epsestimate", "epsactual", "epssurprisepct", "timeZoneShortName", "gmtOffsetMilliSeconds", ], "offset": 0, "query": { "operands": [ {"operands": ["startdatetime", start_date_str], "operator": "gte"}, # 大于等于开始日期 {"operands": ["startdatetime", end_date_str], "operator": "lt"}, # 小于结束日期 {"operands": ["region", "us"], "operator": "eq"}, ], "operator": "and", }, "size": 100, # 每页获取条目数 "sortField": "companyshortname", "sortType": "ASC", } # 5. 定义cookie # 'A3' cookie 通常也包含会话信息，是动态且必需的。 # 同样需要从浏览器开发者工具中获取。 cookie_a3 = "YOUR_A3_COOKIE_VALUE_HERE" # 示例: "d=AQABBK8KXmQCEA8-VE0dBLqG5QEpQ7OglmEFEgABCAHCeWWpZfNtb2UB9qMAAAcIqgpeZJj7vK8&S=AQAAAqhyTAOrxcxONc4ktfzCOkg" # 6. 发送POST请求并处理响应 with requests.Session() as s: s.headers.update(headers) s.cookies["A3"] = cookie_a3 # 设置A3 cookie try: response = s.post(url, params=params, json=query_payload) response.raise_for_status() # 如果HTTP请求失败（非200状态码），则抛出异常 data = response.json() # 解析并打印结果 if data and "finance" in data and "result" in data["finance"] and data["finance"]["result"] and "documents" in data["finance"]["result"][0] and data["finance"]["result"][0]["documents"] and "rows" in data["finance"]["result"][0]["documents"][0]: print(f"--- 抓取 {last_trading_day.strftime('%Y年%m月%d日')} 的财报数据 ---") for r in data["finance"]["result"][0]["documents"][0]["rows"]: company_name = r[1] if len(r) > 1 else "N/A" event_name = r[2] if len(r) > 2 and r[2] else "N/A" start_time = r[3] if len(r) > 3 else "N/A" print(f"{company_name:<40} {event_name:<40} {start_time:<30}") else: print("未能获取到财报数据，请检查API响应结构或查询参数。") except requests.exceptions.RequestException as e: print(f"请求失败: {e}") except ValueError: print("响应内容不是有效的JSON格式。") except Exception as e: print(f"发生未知错误: {e}")
3.3 示例输出（部分）
运行上述代码，如果crumb和A3 cookie正确，将输出类似以下格式的财报数据：
--- 抓取 2023年12月15日 的财报数据 --- Lewis and Clark Bank Q3 2023 Earnings Release 2023-12-15T13:10:00.000Z Alzamend Neuro, Inc. 2023-12-15T16:32:00.000Z ATIF Holdings Ltd Q1 2024 Earnings Release 2023-12-15T21:00:00.000Z Barnwell Industries Inc Q4 2023 Earnings Release 2023-12-15T23:05:13.000Z Quanex Building Products Corp Q4 20