
本文介绍在 webscraper.io 中实现自动填写搜索框与触发下拉菜单选择的操作方法,包括 selectorelementclick 配置技巧、实际 json 代码示例及替代方案建议,助你高效抓取 alberta 地区脊医列表。
WebScraper.io 是一款功能强大的浏览器扩展型爬虫工具,适用于结构化网页的可视化采集,但其原生能力不支持直接模拟键盘输入(如 typing into a text field)或动态交互式表单提交。不过,它提供了 SelectorElementClick 类型选择器,可模拟真实点击行为——这正是解决你问题的关键突破口。
✅ 正确思路:绕过“输入”,改用预设筛选项触发结果
目标网站
- 文本输入框(如 #search-city 或类似)
- 半径下拉框(如
- 提交按钮(或回车/自动搜索)
由于 WebScraper 无法执行 .sendKeys() 类操作,我们应优先检查该页面是否支持URL 参数驱动筛选(例如 ?city=Edmonton&radius=25),或是否存在静态可点击的区域链接/筛选卡片(如“Edmonton”、“Calgary”等城市标签)。若存在,推荐优先使用 URL 参数 + 分页组合方式,最稳定可靠。
若必须通过表单交互,则需借助 SelectorElementClick 模拟点击已渲染的
{ "id": "select-radius-25km", "parentSelectors": ["_root"], "type": "SelectorElementClick", "clickActionType": "real", "clickElementSelector": "select[name='radius'] option[value='25']", "clickElementUniquenessType": "uniquecssSelector", "clickType": "clickOnce", "delay": 1500, "discardInitialElements": "do-not-discard", "multiple": false, "selector": "body" }
⚠️ 注意事项:
- clickElementSelector 必须精准匹配页面加载完成后已存在的 DOM 节点;建议先在 chrome DevTools 中验证 document.querySelector(“select[name=’radius’] option[value=’25’]”) 是否返回有效元素;
- 若下拉框使用 js 动态渲染(如 react/vue 组件),原生 WebScraper 可能无法捕获,此时需切换至 Playwright 或 Selenium + python 方案;
- 输入城市名称无法直接模拟?可尝试:① 查看是否有“热门城市”可点击区域;② 检查网络请求,找到 /api/search?city=… 类接口,直接构造 API 请求(WebScraper 支持 json API 抓取);③ 改用 Playwright(推荐)编写自动化脚本,完整支持 page.fill(), page.selectOption() 和显式等待。
? 推荐进阶方案(当 WebScraper 不足时)
对于需要强交互的场景(如输入+回车+等待 ajax 加载+翻页),建议迁移到 Playwright(Python),代码简洁且稳定性高:
from playwright.sync_api import sync_playwright with sync_playwright() as p: browser = p.chromium.launch(headless=False) page = browser.new_page() page.goto("https://chiropractic.ca/find-a-chiro/alberta/") # 输入城市 page.fill("#search-city", "Edmonton") # 选择半径(支持 value/text 多种方式) page.select_option("select[name='radius']", value="25") # 触发搜索(可能为按钮或回车) page.press("#search-city", "Enter") # 等待结果加载 page.wait_for_selector(".chiropractor-list-item", timeout=10000) # 提取数据(示例) chiropractors = page.eval_on_selector_all( ".chiropractor-list-item", "els => els.map(el => ({name: el.querySelector('h3')?.innerText, phone: el.querySelector('.phone')?.innerText}))" ) print(chiropractors)
? 小结:WebScraper.io 适合静态或简单交互页面;涉及输入框+下拉+异步加载的复合操作,建议转向 Playwright/Selenium。同时务必查阅 WebScraper 官方论坛 和 Dropdown Variation 教程视频,获取最新 selector 配置实践。