本教程旨在解决使用Python爬取动态加载的黄金价格数据时遇到的常见问题。传统网页抓取方法（如requests结合BeautifulSoup）在面对JavaScript动态渲染的内容时往往失效。文章核心在于揭示goldprice.org等网站通过AJAX API提供实时数据，并详细指导如何直接调用这些API，通过JSON解析高效、准确地获取黄金价格及其变动百分比，避免了复杂的HTML解析，提升了数据获取的稳定性和效率。

动态内容抓取的挑战

在尝试从网站（如goldprice.org）获取实时黄金价格时，许多初学者会遇到一个普遍的问题：尽管在浏览器中能够清晰地看到价格和涨跌幅，但通过Python的requests库获取到的HTML内容，却往往缺少这些关键数据。这是因为现代网页为了提供更流畅的用户体验，大量采用JavaScript动态加载内容。当您使用requests.get()方法时，它仅仅获取了服务器返回的原始HTML骨架，而JavaScript在浏览器端执行后才填充的数据，是无法被这种静态抓取方式捕获的。

例如，原始尝试使用BeautifulSoup解析HTML的代码：

import requests from bs4 import BeautifulSoup  url = "https://goldprice.org/" req = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'}) data = req.content soup = BeautifulSoup(data, "html.parser") # print(soup) # 此时打印的soup中不包含实时金价

这段代码能够成功获取并打印HTML，但其中并不包含实时黄金价格。原因在于goldprice.org网站上的价格数据是通过JavaScript在页面加载完成后，向后端API发送异步请求（AJAX）获取并渲染到页面上的。因此，无论是通过BeautifulSoup进行解析，还是尝试自定义字符串搜索函数，都无法找到这些动态生成的数据。此外，对BeautifulSoup对象进行类似字符串的索引操作（如soup[i]）是错误的，因为它是一个复杂的对象，而非简单的字符序列，这会导致KeyError。

解决方案：识别与利用API接口

面对动态加载的数据，最有效且稳定的解决方案是直接与网站用于获取数据的后端API进行交互。许多网站为了实时更新数据，都会有内部的AJAX API。通过模拟浏览器向这些API发送请求，我们可以直接获取到原始的JSON或XML格式数据，从而绕过复杂的HTML解析。

立即学习“Python免费学习笔记（深入）”；

如何发现这些API？通常可以通过浏览器开发者工具（F12）的“网络”（Network）选项卡来观察。当页面加载或数据更新时，过滤XHR（XMLHttpRequest）请求，通常就能找到负责传输数据的API接口及其请求参数。对于goldprice.org，经过分析可以发现其黄金价格数据是通过一个特定的API接口提供的。

Python实现：调用黄金价格API

以下是使用Python requests库直接调用黄金价格API的示例代码，以获取美元计价的黄金价格及其变动百分比：

AlibabaWOOD

阿里巴巴打造的多元电商视频智能创作平台

37

查看详情

import requests import json # 用于美化打印JSON，实际requests.json()已完成解析  def get_gold_price_from_api():     """     通过API获取当前黄金价格和其变动百分比。     """     # 黄金价格API接口URL，这里是获取美元计价的黄金数据     api_url = "https://data-asg.goldprice.org/dbXRates/USD"      # 设置User-Agent请求头，模拟浏览器访问，避免被服务器拒绝     headers = {         "User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0"     }      try:         # 发送GET请求到API接口         response = requests.get(api_url, headers=headers)         response.raise_for_status() # 检查请求是否成功（HTTP状态码200 OK）          # 将响应内容解析为JSON格式         data = response.json()           # 可选：打印完整的API响应，以便理解数据结构         # print("完整的API响应数据：", json.dumps(data, indent=4, ensure_ascii=False))          # 从JSON数据中提取黄金价格和变动百分比         # 数据通常包含在一个名为"items"的列表中，我们取第一个元素         if data and "items" in data and len(data["items"]) > 0:             gold_info = data["items"][0]             xau_price = gold_info.get("xauPrice") # 黄金价格             pc_xau = gold_info.get("pcXau")       # 黄金价格变动百分比              if xau_price is not None and pc_xau is not None:                 print(f"当前黄金价格 (USD): {xau_price}")                 print(f"黄金价格日变动百分比: {pc_xau}%")                 return xau_price, pc_xau             else:                 print("API响应中未找到黄金价格或变动百分比。")                 return None, None         else:             print("API响应数据结构异常或为空。")             return None, None      except requests.exceptions.RequestException as e:         print(f"请求API失败: {e}")         return None, None     except json.JSONDecodeError:         print("API响应内容不是有效的JSON格式。")         return None, None     except Exception as e:         print(f"发生未知错误: {e}")         return None, None  if __name__ == "__main__":     gold_price, gold_change_percent = get_gold_price_from_api()     if gold_price is not None:         print("n成功获取黄金数据。")

代码解析：

1. import requests: 导入用于发送HTTP请求的requests库。
2. api_url: 指定了目标API的URL。这个URL是专门用来获取黄金（XAU）和白银（XAG）价格数据的，并指定了货币单位为美元（USD）。
3. headers: 定义了一个字典作为请求头。设置User-Agent非常重要，它告诉服务器我们是一个正常的浏览器请求，而不是一个简单的脚本，这有助于避免被服务器拒绝。
4. requests.get(api_url, headers=headers): 发送一个HTTP GET请求到指定的API URL。
5. response.raise_for_status(): 这是一个便捷的方法，如果HTTP请求返回了错误的状态码（例如4xx或5xx），它将抛出一个HTTPError异常，便于错误处理。
6. data = response.json(): requests库的response对象有一个json()方法，可以直接将响应内容（如果它是有效的JSON格式）解析成Python字典或列表。
7. 数据提取: API返回的数据是一个JSON对象。通过检查其结构，我们可以看到黄金价格和变动百分比存储在”items”列表的第一个元素中，键分别为”xauPrice”和”pcXau”。使用dict.get()方法可以安全地访问字典键，避免KeyError。
8. 错误处理: 使用try-except块来捕获可能发生的网络请求错误（requests.exceptions.RequestException）和JSON解析错误（json.JSONDecodeError），增强程序的健壮性。

解析API响应数据结构

API返回的完整JSON数据结构示例如下：

{     "ts": 1701714890300,     "tsj": 1701714885583,     "date": "Dec 4th 2023, 01:34:45 pm NY",     "items": [         {             "curr": "USD",             "xauPrice": 2024.0325,             "xagPrice": 24.514,             "chgXau": -94.6625,             "chgXag": -1.2275,             "pcXau": -4.468,             "pcXag": -4.7686,             "xauClose": 2118.695,             "xagClose": 25.7415         }     ] }

• ts, tsj: 时间戳信息。
• date: 数据的日期和时间（纽约时间）。
• items: 这是一个列表，包含一个或多个货币对的数据。
  • curr: 货币单位，例如”USD”表示美元。
  • xauPrice: 当前黄金价格（以curr指定的货币计价）。
  • xagPrice: 当前白银价格。
  • chgXau: 黄金价格的绝对变动值。
  • chgXag: 白银价格的绝对变动值。
  • pcXau: 黄金价格的百分比变动（Positive Change for XAU）。
  • pcXag: 白银价格的百分比变动。
  • xauClose: 黄金收盘价。
  • xagClose: 白银收盘价。

通过理解这个结构，我们可以精确地定位到所需的数据，例如data[“items”][0][“xauPrice”]和data[“items”][0][“pcXau”]。

注意事项与最佳实践

1. User-Agent的重要性: 始终在请求头中包含一个合理的User-Agent。许多网站会检查此字段，以识别请求来源。如果User-Agent缺失或看起来像自动化脚本，请求可能会被拒绝。
2. 错误处理: 在实际应用中，务必加入健壮的错误处理机制。网络请求可能因多种原因失败（如网络中断、服务器错误、API响应格式不正确等）。使用try-except块可以优雅地处理这些异常，提高程序的稳定性。
3. API使用限制（Rate Limiting）: 许多公共API或网站内部API都有请求频率限制。频繁地发送请求可能会导致IP被暂时或永久封禁。在设计程序时，应考虑加入适当的请求间隔（例如使用time.sleep()），避免对服务器造成过大负担。
4. 数据结构变化: API提供方可能会在未来更改其数据结构。这意味着您的代码可能需要定期检查并更新，以适应这些变化。
5. 合法性与道德: 在进行任何形式的数据抓取时，请务必遵守网站的服务条款和相关法律法规。未经授权的爬取可能导致法律问题。对于商业用途，通常建议寻找官方提供的API接口。

总结：告别传统爬虫的困境

通过本教程，我们学习了如何有效地从动态加载内容的网站中获取数据。传统基于BeautifulSoup的静态HTML解析方法在面对JavaScript渲染的内容时存在局限性。转而利用网站内部的AJAX API，通过requests库直接获取并解析JSON数据，是获取此类动态信息的更优、更稳定的方法。

本教程涵盖了识别动态数据源、利用requests库调用API、解析JSON数据以及处理可能遇到的错误等关键技能。在未来的数据获取任务中，当遇到网页内容无法通过简单HTML解析获取时，请优先考虑检查网络请求，寻找潜在的API接口。同时，牢记设置User-Agent、实施错误处理和遵守API使用规范等最佳实践，将有助于您构建更健壮、更负责任的数据获取程序。