mysql如何使用fulltext索引进行全文检索_mysql全文索引优化

6次阅读

mysql fulltext索引仅支持char/varchar/text列,myisam和innodb均支持但行为不同:myisam支持布尔与自然语言模式,innodb 5.6+起支持且默认自然语言模式、停用词更严格;建索引前须确认字段类型及字符集(如utf8mb4),否则报错;innodb需配置ngram插件及参数(如innodb_ft_parser=ngram、ngram_token_size)方可有效支持中文分词;全文索引不支持任意位置匹配,仅对分词后词元匹配;需用explain验证是否走索引;停用词、缓存、事务可见性等环节任一未对齐均会导致检索失败或不准。

mysql如何使用fulltext索引进行全文检索_mysql全文索引优化

MySQL FULLTEXT 索引只能在 CHAR/VARCHAR/TEXT 列上创建

MyISAM 和 InnoDB 都支持 FULLTEXT,但行为差异大:MyISAM 支持布尔模式和自然语言模式,InnoDB 从 5.6 起才支持全文索引,且默认使用自然语言模式,停用词处理更严格。建索引前必须确认字段类型——intjson 或未显式指定字符集的 TEXT(如没设 utf8mb4)会导致建索引失败或检索异常。

常见错误:Error 1214 (HY000): The used table type doesn't support FULLTEXT indexes,多因引擎是 Memory 或 Archive;ERROR 1170 (42000): BLOB/TEXT column 'content' used in key specification without a key Length,实则是试图对无前缀长度的 TEXT 直接建普通索引,但误写成 FULLTEXT 语法。

  • 建索引语句必须写全:例如 ALTER TABLE articles ADD FULLTEXT(content),不能省略 FULLTEXT 关键字
  • InnoDB 表需确保 innodb_ft_min_token_size(默认 3)与业务分词习惯匹配,中文需配合 ngram 插件并设 innodb_ft_parser=ngram
  • MyISAM 对短词(ft_min_word_len 后必须重建索引才能生效

MATCH() AGAINST() 的三种模式怎么选

MATCH(col) AGAINST('keyword') 默认是自然语言模式,适合模糊相关性排序;加 IN NATURAL LANGUAGE MODE 可显式声明;加 IN BOOLEAN MODE 才支持 +-* 等操作符;WITH QUERY EXPANSION 会二次检索相似词,但容易引入噪声。

典型误用:在布尔模式里写 AGAINST('hello world')(空格被当分隔符),结果变成 “hello AND world”,而实际想搜短语就得写 AGAINST('"hello world"');又或者在自然语言模式下强行用 +,会被忽略。

  • 查精确短语优先用布尔模式 + 双引号:AGAINST('"redis cache"' IN BOOLEAN MODE)
  • 排除某词用布尔模式:AGAINST('+mysql -percona' IN BOOLEAN MODE)
  • 自然语言模式返回相关度分数,可用于 ORDER BY MATCH() DESC,但分数无跨表可比性

为什么 LIKE ‘%xxx%’ 比 FULLTEXT 还快

因为 FULLTEXT 不走 B+ 树索引,而是维护倒排索引结构,查询时需加载词典、分词、查倒排表、合并文档ID、再回表——当匹配结果占全表比例高(比如 >30%),优化器可能直接放弃全文索引,退化为全表扫描。而 LIKE '%xxx%' 虽然慢,但若数据量小、缓冲池够大,反而更快。

另一个常见陷阱:FULLTEXT 不支持前导通配符以外的任意位置匹配,它只对分词后的词元做匹配,所以搜 “ing” 不会命中 “running”,除非用了 ngram 或自定义解析器。

  • 检查是否真走了全文索引:用 EXPLAIN select ... MATCH() AGAINST()...,看 type 是否为 fulltext
  • 低区分度词(如“的”、“and”)会被停用词表过滤,InnoDB 默认停用词有 38 个,可通过 INFORMATION_SCHEMA.INNODB_FT_DEFAULT_STOPWORD 查看
  • 刚插入的数据不会立刻可搜,InnoDB 有 innodb_ft_cache_size 缓存,且事务提交后还需等待 innodb_ft_sync_level 触发刷盘

ngram 中文分词必须显式启用且设对参数

InnoDB 原生不支持中文分词,靠 ngram 插件实现按字切分。但光装插件不够:必须在建表或建索引前设置 innodb_ft_parser=ngram,且指定 ngram_token_size=2(二元分词)或 =1(单字),否则索引仍按空格/标点切分,中文基本不可用。

一个典型翻车点:开了 ngram,但字段用的是 utf8 而非 utf8mb4,导致 emoji 或四字节字符被截断,分词错乱;或者建索引后修改了 ngram_token_size,旧数据不会自动重分词,必须 ALTER TABLE ... DROP INDEX 再重建。

  • 启用命令:INSTALL PLUGIN ngram SONAME 'ha_ngram.so';,然后建表时加 WITH PARSER ngram
  • 建全文索引语句示例:ALTER TABLE blog_posts ADD FULLTEXT(title, content) WITH PARSER ngram;
  • 搜单字要用 ngram_token_size=1,但索引体积暴涨,慎用于大表

全文索引不是“开了就灵”的黑盒,ngram 参数、停用词、分词缓存、事务可见性这些环节任何一处没对齐,都会让 MATCH() AGAINST() 返回空或不准。尤其在迁移老 MyISAM 全文逻辑到 InnoDB 时,布尔语法兼容性、最小词长、甚至 MySQL 版本小版本差异(如 5.7.6 vs 8.0.22 对 ngram 的支持)都得逐项核对。

text=ZqhQzanResources