本文旨在探讨在javaScript中对中文、日文等多语言内容进行准确词语计数的方法，特别关注如何排除特殊字符、标点和空格。针对传统正则表达式在处理非西方语言词语边界时的局限性，文章将详细介绍并演示如何利用现代javascript的`Intl.Segmenter` API，实现一种高效、准确且语言感知的词语计数解决方案，并提供示例代码及兼容性说明。
在开发涉及文本处理的应用程序时，准确地统计文本中的词语数量是一项常见需求。然而，这项任务在处理中文、日文等非西方语言时变得尤为复杂。这些语言不依赖空格来分隔词语，使得传统的基于空格或简单正则表达式的词语计数方法失效或不准确。
多语言词语计数的挑战
对于英文等语言，词语通常由空格分隔，使用简单的正则表达式如/bw+b/g即可大致统计。但对于中文和日文，情况则大相径庭：
- 中文： 词语之间没有空格，一个汉字可能构成一个词，也可能多个汉字组成一个词。
- 日文： 混合使用汉字（Kanji）、平假名（Hiragana）、片假名（Katakana），同样没有空格作为词语分隔符。
尝试使用基于Unicode属性的正则表达式（如[p{Script=Han}]+或[p{Script=Hiragana}p{Script=Katakana}p{Script=Han}ー]+）来匹配字符序列，虽然能捕获到连续的语言字符，但往往难以精确区分词语边界，导致与桌面应用（如microsoft word）的计数结果不一致。这是因为词语的定义和分割往往依赖于复杂的语言学规则和上下文。
立即学习“Java免费学习笔记（深入）”；
解决方案：利用 Intl.Segmenter API
为了解决多语言文本的词语分割难题，现代JavaScript提供了一个强大的国际化API：Intl.Segmenter。这个API专门用于将字符串分割成语言感知的文本段，包括字符、词语或句子。它内置了对各种语言复杂分割规则的支持，是实现准确词语计数的理想工具。
Intl.Segmenter 的工作原理
Intl.Segmenter 构造函数接收两个参数：
- locale (字符串)：表示语言环境，例如 ‘en’ (英语), ‘zh’ (中文), ‘ja’ (日语), ‘fr’ (法语) 等。
- options (对象)：一个配置对象，其中最重要的属性是 granularity，它定义了分割的粒度。对于词语计数，我们应将其设置为 ‘word‘。
实例化 Intl.Segmenter 后，可以通过调用其 segment() 方法来分割文本。segment() 方法返回一个可迭代对象，其中每个元素都是一个表示文本段的对象。这些对象包含以下关键属性：
- segment (字符串)：实际的文本段。
- index (数字)：该文本段在原始字符串中的起始索引。
- input (字符串)：原始输入字符串。
- isWordLike (布尔值)：一个非常重要的属性，指示该文本段是否被认为是“类词语”的。它会排除标点符号、空格等非词语性质的段。
实现词语计数功能
利用 Intl.Segmenter 和 isWordLike 属性，我们可以编写一个简洁高效的词语计数函数。基本思路是：
- 根据指定的语言环境和粒度（’word’）创建一个 Intl.Segmenter 实例。
- 使用 segment() 方法分割输入文本。
- 遍历所有分割出的段，并统计 isWordLike 为 true 的段的数量。
以下是实现此功能的JavaScript代码：
/** * 统计给定文本中的词语数量，支持多语言。 * * @param {string} text 要统计的文本。 * @param {string} locale 文本的语言环境（例如 'en', 'zh', 'ja', 'fr'）。 * @returns {number} 文本中的词语数量。 */ function countWords(text, locale) { // 1. 创建 Intl.Segmenter 实例，指定语言环境和粒度为 'word' const segmenter = new Intl.Segmenter(locale, { granularity: 'word' }); // 2. 使用 segment() 方法分割文本，并转换为数组 const segments = [...segmenter.segment(text)]; // 3. 使用 reduce 方法统计 isWordLike 为 true 的段的数量 // Number(isWordLike) 会将 true 转换为 1，false 转换为 0 return segments.reduce((wordCount, { isWordLike }) => { return wordCount + Number(isWordLike); }, 0); } // 示例用法 console.log( "countWords('How many words does the text contain?', 'en') ?..", countWords('How many words does the text contain?', 'en'), // 预期输出: 7 ); console.log( "countWords('Combien de mots contient ce texte ?', 'fr') ?..", countWords('Combien de mots contient ce texte ?', 'fr'), // 预期输出: 7 ); console.log( "countWords('そのテキストには何語含まれていますか？', 'ja') ?..", countWords('そのテキストには何語含まれていますか？', 'ja'), // 预期输出: 6 (その/テキスト/に/は/何語/含まれていますか) ); console.log( "countWords('该文本包含多少个单词？', 'zh') ?..", countWords('该文本包含多少个单词？', 'zh'), // 预期输出: 7 (该/文本/包含/多少/个/单词/？) ); // 包含标点符号和空格的复杂示例 console.log( "countWords('你好，世界！这是一个测试。', 'zh') ?..", countWords('你好，世界！这是一个测试。', 'zh'), // 预期输出: 7 (你好/，/世界/！/这/是/一个/测试/。) - 注意，isWordLike 对标点可能为false ); // 修正：Intl.Segmenter 对标点通常会返回 isWordLike: false console.log( "countWords('你好，世界！这是一个测试。', 'zh') (排除标点):", countWords('你好，世界！这是一个测试。', 'zh'), // 预期输出: 5 (你好/世界/这/是/一个/测试) );代码解释：
- new Intl.Segmenter(locale, { granularity: ‘word’ })：创建了一个针对特定语言环境的词语分割器。
- […segmenter.segment(text)]：segment() 方法返回一个迭代器，使用扩展运算符 … 可以将其转换为一个数组，方便后续处理。
- .reduce((wordCount, { isWordLike }) => wordCount + Number(isWordLike), 0)：这是核心的计数逻辑。它遍历每个分割出的段。如果 isWordLike 为 true（表示这是一个词语或类词语的单元），Number(true) 会转换为 1，累加到 wordCount 中；如果为 false（表示是标点、空格等），Number(false) 会转换为 0，不影响计数。
注意事项与浏览器兼容性
尽管 Intl.Segmenter 是一个非常强大的API，但在实际应用中仍需注意其兼容性：
- 浏览器支持： 截至目前（知识截止日期），主流现代浏览器如 chrome、edge、safari 等已良好支持 Intl.Segmenter。然而，firefox 浏览器在某些版本中可能尚未完全支持或实现 Intl.Segmenter。在部署前，务必查阅 MDN Web Docs 以获取最新的兼容性信息。
- Polyfill： 如果需要支持不兼容 Intl.Segmenter 的旧版浏览器，可能需要考虑使用 Polyfill。然而，由于 Intl.Segmenter 的复杂性，高质量且完全符合规范的 Polyfill 可能难以找到或实现。在大多数现代Web开发场景中，可以接受对旧版浏览器进行渐进增强或明确的兼容性要求。
- 词语定义： Intl.Segmenter 对“词语”的定义是基于语言学规则的，通常与桌面应用程序（如Word）的计数结果高度一致，但仍可能存在细微差异，这取决于底层实现所遵循的具体标准和语言模型。
总结
对于在JavaScript中实现多语言（特别是中文、日文等）文本的准确词语计数，Intl.Segmenter API提供了一个现代化、高效且语言感知的解决方案。它通过利用底层国际化数据和算法，能够精确处理复杂的词语边界问题，远优于传统的正则表达式方法。尽管需要关注浏览器兼容性，但对于目标现代浏览器环境的应用，Intl.Segmenter 无疑是首选方案。