对于笔记这类文件的全文索引直接选择按 Unicode 字符分词应该是最佳的选择，不仅仅是简单，而且用户本来就对自己的笔记较为熟悉，搜索只是为了快速定位，再者对于笔记类的搜索要所有有的内容都要能搜索到是首要，如果选用 jieba 分词这类的分词器势必会造成一些内容无法被索引到。
当然直接扫全表扫描也没问题，毕竟相对来说笔记文字量也不是特别多。不过 fts 可以带来更多更好的搜索功能。
关于 blocks_fts 虚拟表的一些建议
本贴最后更新于 1055 天前，其中的信息可能已经时移世易
相关帖子
- 其他回帖
-
老铁，我把你给我的代码开源放在这里了 https://github.com/siyuan-note/sqlite-fts5-siyuan-tokenizer 请原谅我自作主张，如果有什么不方便的话请随时联系我。
我把这些代码打包进 SQLite golang binding 里了，这样静态编译后也能在手机上使用，非常感谢老铁。
1 回复 -
-
lucis007 •
老哥，可否大概分享下是如何把这些代码打包进 SQLite golang binding，并静态编译后供移动端使用的呢？
我也想跨平台的应用中实现 sqlite 的中文分词，想参考思源笔记的做法，因为我也用的 go 做移动端后端，不过前端是 flutter。
万分感谢了 🙏
1 回复 - 查看全部回帖
欢迎来到这里！
我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。
注册 关于