-
整点大的,我的思源 features
2024-03-11 05:17向量索引我目前还是没有找到合适的分片加载方式,基本只能够全部加载进内存然后查询,索引性能我已经实现了 js 版的 hnsw 索引能够达到实时查询,但是内存占用降不下来,光是把向量嵌入转移到在线服务对于内存占用作用不大,在线的向量数据库如果有推荐可以跟我说一下
-
重构助手功能征集
2024-03-08 21:462024/03/08 更新:
支持以 sql 代码块形式指定文档列表
所有指定了 name 属性的 sql 代码块会被定义为查询语句并用于查找移动目标
支持 AI 辅助的移动目标判断
-
版本 2.11.4 卡顿 开发者工具 \ notwork \getDoc 这个一直在跳,是在加载什么? 和卡顿有关系吗
2024-01-02 23:40应该是这个,为了获取正确的标题级别所以它后台一直在请求数据,写的时候实现有些粗暴,下个版本先改为默认不实时渲染,等我弄好另外一个插件之后会再回头修缮一下它
-
版本 2.11.4 卡顿 开发者工具 \ notwork \getDoc 这个一直在跳,是在加载什么? 和卡顿有关系吗
2024-01-02 23:38抱歉造成了问题,0.0.9(下一个版本)之后默认不再使用自动刷新模式,应该不会在打字的时候造成卡顿了
-
feed 插件支持自定义解析代码
2023-12-23 03:36是否考虑接入 rsshub 的收集器?把 koa 的路由还有一些必要依赖替换成浏览器可用的就行,大致可以参考我这里:
SiyuanAssistantCollection/source/Processors/searchers/rss/rssLoader/routeMapV1.js at master · leolee9086/SiyuanAssistantCollection (github.com) -
请教各位,作为一名计算机小白设计师,用什么平台搭建自己的个人网站比较好?
2023-12-08 13:12用在线的笔记工具吧,飞书、flowus、notion 都可以,大部分发布工具对完全没有编程经验的不是很友好
-
萌新求助 | 古早的本地自动备份文档如何恢复数据?
2023-12-03 16:07我在知乎回答你了,你的 data 下面不应该再有 data,把 data 里面那个 data 直接复制黏贴到外面就可以,反正旧数据在是肯定不会消失的
-
功能遐想:语义搜索
2023-11-23 16:05虽然我也顶了,不过我要先提醒一下哈,就我目前开发的经验来看,这个功能会面临几个问题:
如果嵌入使用本地模型的话,首先即使压缩模型的大小,中文可用的 sota 模型 text-vec-chinese 也至少是百来兆的,使用 cpu 嵌入性能占用不低,使用 gpu 的话暂时我还没有找到比较好整合进思源的库(我目前用的是 transformers.js)
然后如果使用远程的接口的话,要生成嵌入向量就需要把笔记内容发送给服务商的接口(思源小助手的嵌入选项只有本地模型和 open AI 也有这个原因),这里有可能有隐私问题。
再就是向量的最近邻计算,我用 js 来做的话单纯的计算倒不是很慢,几十万个块也能快速出结果,但是这样做的代价是把全部向量加载进了内存,如果不这样做的化还得找一个合适的向量数据库。
最后是向量的存储问题,如果检索粒度到单个内容块的话,尤其是对于习惯使用短文本列表的用户,特征向量文件的大小可能比笔记本身还要大很多,这也是一个问题。