使用 Selenium 高效提取网页表格中的多行文本数据

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC  url = 'https://www.tippmix.hu/sportfogadas#?q=nba&page=1' driver = webdriver.Chrome() driver.maximize_window() driver.get(url)  # 显式等待：确保所有比赛链接完全加载并可见 wait = WebDriverWait(driver, 10) game_links = wait.until(     EC.visibility_of_all_elements_located((By.XPATH, "//tbody/tr/td[@class='title']/a")) )  cimek = [] for link in game_links:     # 每个链接文本形如 "Kosárlabda, NBAnCleveland - Dallasn02.27. 18:00"     lines = link.text.strip().split("n")     if len(lines) >= 2:         opponent_pair = lines[1].strip()  # 取第二行：对阵双方         cimek.append(opponent_pair)         print(opponent_pair)  driver.quit()

✅ 关键改进点说明：

• ✅ 避免手动索引与 XPath 拼接：原逻辑中 for i in range(…) 却始终使用 number_of_pages_to_enter，导致循环体实际只处理最后一行；改用 find_elements 直接获取全部匹配元素，天然规避索引越界与逻辑错乱。
• ✅ 消除不必要的页面跳转：button.click() → browser.back() 不仅慢，还易触发反爬机制或状态丢失；而目标文本已在当前页 dom 中，直接 .text 即可。
• ✅ 增强健壮性：使用 visibility_of_all_elements_located 替代 presence_of_element_located，确保元素不仅存在，而且可见、可交互；配合 WebDriverWait 防止因加载延迟导致 NoSuchElementException。
• ✅ 安全解析文本：对 .text 结果做 strip() 和 split(“n”) 防御性处理，避免空行或格式异常引发 IndexError。

⚠️ 注意事项：

• 若页面使用前端路由（如本例中的 #?q=nba&page=1），需确认 Selenium 加载后 JavaScript 已完成渲染；必要时可添加 time.sleep(1) 或监听特定元素出现。
• //tbody/tr/td[@class=’title’]/a 是相对稳定的选择器，但若网站改版，建议优先使用语义化属性（如 data-testid）或 CSS 选择器（如 table tbody td.title a）提升可维护性。
• 生产环境中应加入异常捕获（如 try/except StaleElementReferenceException），并在循环内对每个 link 做 .is_displayed() 校验。

综上，Selenium 数据提取的核心原则是：尽可能减少 DOM 状态变更（如点击、跳转），优先利用静态结构批量定位，辅以显式等待与防御性解析。这不仅能提升脚本稳定性与执行速度，也大幅降低后期维护成本。