PHP 字符串去重算法实战

php字符串去重需保序且按语义定义重复：单字节用遍历+关联数组；utf-8中文须用mb_substr；分词去重需正则提取汉字块与英文单词；柔性去重应标准化键值映射原始字符。

PHP 字符串去重，核心是保留字符的首次出现顺序、剔除重复项，不是简单去重数组。常见需求包括：纯字符去重（如 "aabbcc" → "abc"）、按字（中文/英文单词）去重、忽略大小写或空白符等。关键不在“有没有函数”，而在于“怎么保序、怎么定义重复”。

单字节字符（英文字母/数字）保序去重

用 array_unique() 配合 str_split() 最直接，但要注意它不保原顺序（PHP 5.6+ 已默认保序，但早期版本需手动重建键）：

• 安全写法：$chars = str_split($str); $unique = array_values(array_unique($Chars)); echo implode('', $unique);
• 更高效（尤其长字符串）：遍历 + 关联数组判重，天然保序：
  php
  $result = ”;
  $seen = [];
  for ($i = 0; $i   $char = $str[$i];
    if (!isset($seen[$char])) {
      $result .= $char;
      $seen[$char] = true;
    }
  }
  ?>

中文或 UTF-8 多字节字符去重

str_split() 对中文会截断乱码，必须用 mb_ 系列函数：

• 先用 mb_strlen($str, 'UTF-8') 获取真实长度
• 用 mb_substr($str, $i, 1, 'UTF-8') 逐个取字符
• 判重逻辑同上，但键用 mb_substr 结果，不能直接用 $str[$i]
• 示例：$char = mb_substr($str, $i, 1, 'UTF-8'); 再检查是否已存在

按“词”去重（非单字），支持中英文混合

需先分词，再去重。简单场景可用空格/标点切分，复杂场景建议用正则：

立即学习“PHP免费学习笔记（深入）”；

• 基础分词：$words = preg_split('/[sp{P}]+/u', $str, -1, PREG_SPLIT_NO_EMPTY);（p{P} 匹配任意 Unicode 标点）
• 去重并保序：

  $seen = []; $uniqueWords = [];<br>foreach ($words as $word) {<br>  if (!in_array($word, $seen)) {<br>    $uniqueWords[] = $word;<br>    $seen[] = $word;<br>  }<br>}

• 注意：中文词需预分词（如用 preg_match_all('/p{Han}+|w+/u', $str, $matches) 抽出汉字块和英文单词）

忽略大小写、空白、标点的柔性去重

实际业务常需“语义去重”，比如 "Hello, hello!" 视为重复：

• 预处理统一格式：$normalized = strtolower(trim(preg_replace('/[sp{P}]+/u', '', $str)));
• 但原始输出仍要返回未处理的字符 —— 所以得用映射：把标准化值作键，存原始片段（如小写"hello" → 原始"Hello"）
• 代码要点：遍历分词后，对每个词生成标准键；若键未出现，存入结果并记录该键；否则跳过