php怎么实现敏感词过滤_php基于Trie树或关键词库屏蔽【过滤】

1次阅读

敏感词过滤不能只用str_replace,因其易误杀(如“青苹果”)、漏杀(缺“苹果”时仅含“苹”“果”不匹配)且性能差(1000词需1000次全量扫描);应采用trie树实现一次扫描多词匹配。

php怎么实现敏感词过滤_php基于Trie树或关键词库屏蔽【过滤】

敏感词过滤为什么不能只用 str_replace

因为会误杀、漏杀,且性能差。比如关键词是 "苹果",文本里有 "苹果手机" 被替换了,但 "青苹果" 也被干掉了;反过来,如果词库有 "苹""果" 却没 "苹果",那又漏了。更麻烦的是,逐个 str_replace 扫一遍词库,1000 个词就得做 1000 次全量字符串扫描,QPS 上去就卡住。

真正靠谱的做法是预建匹配结构,让一次扫描完成所有关键词判断——Trie 树(字典树)就是干这个的。

php 写一个轻量 Trie 过滤器要注意什么

别直接抄网上“完整版 Trie 类”,多数带冗余方法、递归遍历、甚至支持模糊匹配,你只需要「前缀匹配 + 最短/最长命中」就够了。核心就三步:建树、插入词、搜索命中。

  • insert() 时统一转小写(或按需保留大小写),避免 "VIP""vip" 被当成两个词
  • 叶子节点存 is_end => true 和可选的 word => "原词",方便后续替换时还原原貌
  • 搜索时用双指针:外层遍历文本位置 $i,内层从 $i 开始沿 Trie 走,一旦碰到 is_end 就记录,然后跳出内层继续 $i+1 ——这是「最短匹配」;若要「最长匹配」,则内层走到不能走为止,取最后那个 is_end

示例片段(非完整类):

立即学习PHP免费学习笔记(深入)”;

$root = ['children' => [], 'is_end' => false]; function insert($root, $word) {     $node = &$root;     for ($i = 0; $i < strlen($word); $i++) {         $char = $word[$i];         if (!isset($node['children'][$char])) {             $node['children'][$char] = ['children' => [], 'is_end' => false];         }         $node = &$node['children'][$char];     }     $node['is_end'] = true;     $node['word'] = $word; // 可选 }

实际部署时词库加载和缓存怎么搞

每次请求都 file_get_contents('keywords.json') + json_decode + 构建 Trie?太慢。PHP-FPM 下每个 worker 进程都要重复一遍,内存还浪费。

  • apcu_store() 缓存构建好的 $trie_root 数组,key 可设为 "sensitive_trie_v2",版本号随词库更新而变
  • 首次加载失败(如 APCu 关闭)就退回到文件 + opcache_compile_file() 预编译的静态数组(把词库转成 PHP 数组代码,include 进来)
  • 避免在 CLI 或测试环境误用 APCu 缓存(它默认不共享),加个 if (php_sapi_name() !== 'cli') 判断

错误现象:APCu is not enabled 导致过滤器每次重建,CPU 突增;或者缓存 key 写成硬编码 "trie",换词库后不生效。

替换策略和边界情况怎么处理

不是所有场景都适合直接替换成 ***。用户发的是 "微信支付",你只屏蔽 "微信",结果变成 "***支付",语义全毁。所以得区分「整词匹配」和「子串匹配」。

  • 建 Trie 时对每个词加标记:'type' => 'full''type' => 'partial',搜索时按需判断是否要求前后为非字母数字(用 ctype_alnum() 或正则 /W|^/ 检查边界)
  • 替换时优先用原词长度生成 *str_repeat('*', mb_strlen($word))),别硬写 '***',否则中英文混排错位
  • 注意 UTF-8 多字节问题:strlen() 会把中文算成 3 字节,必须用 mb_strlen($word, 'UTF-8'),否则 Trie 走不到底

容易被忽略的是:用户输入含零宽空格(xe2x80x8b)、全角标点、甚至 emoji,这些字符进 Trie 前得先 normalize,否则永远匹配不上。

text=ZqhQzanResources