python爬虫跨语言采集核心难点是编码识别、解码还原与文本归一化：需用charset-normalizer精准探测真实编码，安全decode为Unicode，再统一清洗归一化输出。
Python爬虫跨语言站点采集时，核心难点不在请求发送，而在编码识别、解码还原、文本归一化三个环节。不同语言站点常混用 UTF-8、GBK、Shift-JIS、EUC-KR、ISO-8859 等编码，且 html 中的 <meta charset> 可能缺失、错误或被 javaScript 动态覆盖。直接用默认编码解码极易出现乱码、解码异常或静默截断。
自动探测响应真实编码（非依赖 headers 或 meta）
http headers 中的 Content-Type: text/html; charset=xxx 和 HTML 内的 <meta charset="xxx"> 均不可信。应优先使用 chardet 或更精准的 charset-normalizer（推荐，无模型、纯规则、支持多语言置信度评分）做字节流级探测。
- 安装：
pip install charset-normalizer - 使用示例：
response.content 是原始响应字节，传给from charset_normalizer import from_bytes; result = from_bytes(resp.content)，取result[0].confidence > 0.7的编码（如result[0].encoding） - 若置信度低于 0.5，可 fallback 到 UTF-8（多数现代站点实际采用），再尝试 GBK（中文旧站）、EUC-KR（韩文）、Shift-JIS（日文）——按目标站点语种预设优先级，避免盲目遍历
统一转为 Unicode 后标准化处理
无论原始编码是什么，解码后必须立即转为 Python 原生 str（即 Unicode），后续所有操作（正则、XPath、清洗）都在 Unicode 层进行。避免“先 decode 再 encode”的往返操作。
- 安全解码写法：
text = resp.content.decode(detected_encoding, errors=’replace’) ——errors='replace'用 替换无法解码字节，防止崩溃；不建议用'ignore'（丢失信息）或默认'strict'（易中断） - 对含 bom 的 UTF-8/UTF-16 响应，
decode()能自动识别；若手动处理，可用resp.content.lstrip(b'xefxbbxbf')清除 UTF-8 BOM - 日文/韩文站点常见全角标点、平假名/片假名/谚文字母，无需额外转换，Unicode 已原生支持；但需注意：部分旧网页用 HTML 实体（如
ち）表示字符，需用html.unescape(text)还原
HTML 解析阶段的编码韧性增强
使用 lxml 或 beautifulsoup 时，显式传入探测出的编码，比依赖库自动猜测更可靠。
立即学习“Python免费学习笔记（深入）”；
- BeautifulSoup：
soup = BeautifulSoup(resp.content, 'lxml', from_encoding=detected_encoding)—— 注意传resp.content（bytes），而非resp.text（已 decode，可能失真） - lxml：
tree = etree.fromstring(resp.content, parser=etree.HTMLParser(encoding=detected_encoding)) - 若解析后仍出现乱码标签（如
<title>æ–°é—»</title>），说明解码失败，应记录该 URL + 编码结果 + 响应前 200 字节，用于人工复核
多语言文本清洗与一致性输出
采集后的文本需适配下游使用（如存入数据库、送入 nlp 模型），应统一规范格式，而非保留原始编码痕迹。
- 去除不可见控制字符：
re.sub(r'[x00-x08x0b-x0cx0e-x1fx7f-x9f]', '', text) - 合并连续空白（含全角空格、NBSP）：
re.sub(r'[su3000xa0]+', ' ', text).strip() - 中日韩标点归一化（可选）：将全角逗号、句号等转为半角，便于后续分词（如
text.replace('，', ',').replace('。', '.')），但需评估业务是否允许语义微调 - 最终保存为 UTF-8 文件或插入 mysql 时，确保连接层也设为 UTF-8（如
charset='utf8mb4'），避免二次乱码
基本上就这些。关键不是堆砌编码列表，而是建立“探测→安全解码→Unicode 处理→归一化输出”的闭环。遇到冷门编码（如泰文 TIS-620、阿拉伯文 ISO-8859-6），优先查 charset-normalizer 支持情况，再考虑加装 iconv 或用 codecs.encode/decode 手动桥接。不复杂但容易忽略。