据我所知 sqlite 的 fts5 对中文分词的支持并不友好,一般来说像微信用的是自定义的分词器。
看起来思源笔记也是自定义了一个分词器,但是我纳闷的是:使用自定义分词器时应该是需要在 sqlite 加载对应的分词插件,看起来源码中并没有加载自定义分词插件的过程。却可以像这样直接指定分词器
tokenize="siyuan case_insensitive"
我想学习下这是如何实现的,是否是分词器直接编译到了 sqlite 中呢,如果是这样的,我是否可以再其他项目中借用思源的分词实现呢?