因轻量、可控、嵌入式场景需手写倒排索引:用 map[String][]int 实现,文档id为整数,append追加、预分配slice,保留重复id以保障tf准确;中文用gse分词,过滤单字与停用词;查询用双指针归并求交/并集,idf预缓存,top-k在合并后截取。

为什么不用现成的全文检索库,而要手写索引?
因为真实项目里,你常会遇到「轻量、可控、嵌入式」场景:比如 CLI 工具需要快速搜索本地日志,或 iot 设备上跑不了 elasticsearch;这时候 bleve 太重,go-fuzzy 又只支持前缀匹配。手写一个基于倒排索引的简易搜索引擎,核心逻辑不到 300 行 Go 代码,且能完全掌控分词、权重、内存布局。
如何构建最简倒排索引(map[string][]int)?
别一上来就搞 B+ 树或压缩 posting list——先用 map[string][]int 实现基础功能。key 是词项(term),value 是该词出现过的文档 ID 列表。注意三点:
- 文档 ID 必须是整数(推荐用文件名哈希或递增序号),避免用字符串做 map key 带来 GC 压力
- 插入时用
append而非重分配 slice,否则频繁 GC;可预估平均词频后用make([]int, 0, 4) - 不要在索引构建阶段去重——同一文档含多次相同词,应保留多次 ID,否则 TF 计算失真
如何安全地支持中文分词而不引入 cgo?
Go 原生不带分词,但 github.com/go-ego/gse 纯 Go 实现,无 cgo 依赖,适合交叉编译。关键配置点:
- 初始化时传入
gse.New("dict.txt"),若跳过参数则用内置小词典,对技术文档效果差 - 调用
seg.Segment([]byte(text))后,过滤掉长度为 1 的单字(如“的”“了”),用seg.RemoveStopWord(true)开启停用词 - 切忌直接用
strings.Fields分英文——它不处理标点粘连,比如"hello,world"会被当做一个 Token
查询时如何合并多个词项的文档 ID 并排序?
用户搜 "Go 内存",需取 index["go"] 和 index["内存"] 两个 slice,求交集(AND 查询)或并集(OR 查询)。实操建议:
立即学习“go语言免费学习笔记(深入)”;
- 用双指针归并求交,比 map[int]bool 消耗更少内存;若文档 ID 已排序(通常如此),复杂度是 O(m+n)
- TF-IDF 权重计算中,IDF 部分可预计算并缓存为
map[string]float64,避免每次查词都遍历全部文档 - 返回结果限制 top-K 一定要在合并后做,不能在每个 term 的 posting list 上提前截断,否则漏掉高权重组
真正难的不是索引结构,而是分词边界和查询意图理解——比如用户输“redis cluster”,是想查 Redis 集群配置,还是某个叫 cluster 的 Redis 模块?这得靠 query rewrite 或点击反馈,纯索引层解决不了。