登录 注册

功能遐想：语义搜索

刚才看到一个软件功能介绍，感觉里面的 AI 功能「语义搜索」有点意思。

https://www.bilibili.com/video/BV1Rh411F71c/

我觉得「语义搜索」应该是知识管理的刚需，平常不同的表述一大堆完全记不住，记不住又找不到真的很烦。

我是把思源笔记作为知识库用的，如果能在思源笔记的搜索中引入「语义搜索」的 AI 功能（搜索算法），应该会很有帮助。

这个功能应该能够在本地实现而不用联网

试一下投票功能

你想要这种功能吗？

多选 • 公开 • 永不结束 28 票
想要
78% • 22 票
用不上
10% • 3 票
讨论讨论
10% • 3 票

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    16095 引用 • 57037 回帖
1 操作
a2930610542 在 2023-11-20 21:43:56 更新了该帖
1 操作
23 回帖
7
7
2
2
281 166 4 35 1 1 74

相关帖子

23 回帖
功能遐想：语义搜索

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 8V9q7V •
    订阅者 支持者 捐赠者 勇士

    我觉得 D 大目前没空搞这些。obsidian 这么大的用户量都没搞这个功能。

    1 回复
  • a2930610542 •
    付费者 捐赠者 作者

    所以说是遐想 根本没法指望trollface

    但我觉得更多的 AI 功能应该是个人知识管理的未来必需品

  • zxhd86 • • 1 赞同
    订阅者 先知

    你是否在找：思源小助手插件？

    1 回复
  • player •
    捐赠者

    需要有价格不菲的显卡来跑大模型。每个文档都有分段做 embedding 向量。然后搜索词也做 embedding 向量。 最后做个查几个文档，与问题最相近的。这样基本就可了。能接入 openai，也可以调接口完成。

  • a2930610542 •
    付费者 捐赠者 作者

    话说思源小助手现在能用吗？我之前下载了，但 README 里没有教程，下载了也没有界面（设置点不开、Dock 多出两个空按钮、块菜单里也没多出什么）

    1 回复
  • muxue •
    付费者

    想法是好的，但是想纯本地运行就是有点异想天开了。

    思源现在估计很难入局做这种 AI 类的东西，太耗精力了，再加上 openai 的 api key 的价格也不便宜，我觉得在思源笔记的笔记功能能独当一面之前都不要为了 ai 去做过多投入。

    1 回复
  • a2930610542 •
    付费者 捐赠者 作者

    这种「AI」其实就是搜索算法，印象中很久以前就有了，用不上大语言模型那么高端的东西。

    刚才上 GitHub 也搜到了一些相关的项目，但我对搜索这方面不了解，所以也不好说。

  • xnyshu • • 1 赞同
    支持者

    这个功能颠覆了双链。更灵活，不需要费时添加链接。

    2 回复
  • a2930610542 •
    付费者 捐赠者 作者

    换个角度看也可以更方便建立双向链接

  • zxhd86 • • 1 • 1 评论
    订阅者 先知

    功能很多，所以文档天然难产，毕竟作者是写给自己用的，他不需要文档就知道怎么用，在写代码花了很大功夫的情况下对于写文档就提不起热情了……

    两个 dock，一个是 ai 对话，能根据你投喂给 ai 的块进行回答，另一个是智能推荐，其实就是语义搜索，会在你写文档的时候自动浮现相似的块。

    但是，需要提前说明的是，在本地运行这个模型，对性能的消耗不小。

    1 回复
    害，写完程序就不想写文档了，这东西真要写文档得写老长了
    leolee •
  • zuoez02 •
    订阅者 付费者

    为了能本地运行，你投入的钱都得几万块……

    1 回复
  • leolee •
    订阅者 捐赠者 恶龙

    不用啦，用来做 embedding 的模型，不需要推理的那么大，量化以后百来兆的模型中文嵌入效果其实就不错了

    1 回复
  • wumaojj •

    颠覆不敢说，但多一个震撼性的自动助理，是很好的。

    就像现在的 AI 审片一样，可以给医生 N 多建议。

    但说，拿掉医生？

    当然，AI 的进化也可能很快打脸。

  • leolee •
    订阅者 捐赠者 恶龙

    调成 openAI 或者 索引占用核心改为 1，有时间得加一下星火和百度的嵌入接口

  • leolee • • 2 赞同
    订阅者 捐赠者 恶龙

    image.png

  • leolee •
    订阅者 捐赠者 恶龙

    image.pngimage.png

  • leolee •
    订阅者 捐赠者 恶龙

    类似这样？

    1 回复
  • leolee •
    订阅者 捐赠者 恶龙

    image.png

  • a2930610542 •
    付费者 捐赠者 作者

    感觉相当不错

  • xnyshu •
    支持者

    大神写篇教程。

  • leolee • • 1 评论
    订阅者 捐赠者 恶龙

    虽然我也顶了，不过我要先提醒一下哈，就我目前开发的经验来看，这个功能会面临几个问题：

    如果嵌入使用本地模型的话，首先即使压缩模型的大小，中文可用的 sota 模型 text-vec-chinese 也至少是百来兆的，使用 cpu 嵌入性能占用不低，使用 gpu 的话暂时我还没有找到比较好整合进思源的库（我目前用的是 transformers.js）

    然后如果使用远程的接口的话，要生成嵌入向量就需要把笔记内容发送给服务商的接口（思源小助手的嵌入选项只有本地模型和 open AI 也有这个原因），这里有可能有隐私问题。

    再就是向量的最近邻计算，我用 js 来做的话单纯的计算倒不是很慢，几十万个块也能快速出结果，但是这样做的代价是把全部向量加载进了内存，如果不这样做的化还得找一个合适的向量数据库。

    最后是向量的存储问题，如果检索粒度到单个内容块的话，尤其是对于习惯使用短文本列表的用户，特征向量文件的大小可能比笔记本身还要大很多，这也是一个问题。

    1 回复
    做进软件本体肯定就要找一下合适的向量数据库了，我这种绿皮搞法肯定是不行的
    leolee •
  • a2930610542 •
    付费者 捐赠者 作者

    我知道这个功能非常难做好，但还是想顶帖看看有没有大佬感兴趣开发trollface

  • a2930610542 •
    付费者 捐赠者 作者

    顶顶贴，有人开发咩 👀

请输入回帖内容 ...
a2930610542
所有抽象的人，说着抽象的话，但关我屁事
回帖
737
 帖子
42
 积分
674

近期热议

推荐标签 标签

  • Chrome

    Chrome 又称 Google 浏览器，是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写，包括 WebKit，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。

    60 引用 • 285 回帖
  • TensorFlow

    TensorFlow 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。

    20 引用 • 19 回帖
  • Oracle

    Oracle（甲骨文）公司，全称甲骨文股份有限公司（甲骨文软件系统有限公司），是全球最大的企业级软件公司，总部位于美国加利福尼亚州的红木滩。1989 年正式进入中国市场。2013 年，甲骨文已超越 IBM，成为继 Microsoft 后全球第二大软件公司。

    103 引用 • 126 回帖 • 479 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 7 关注
  • 小说

    小说是以刻画人物形象为中心，通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖 • 1 关注
  • JSON

    JSON （JavaScript Object Notation）是一种轻量级的数据交换格式。易于人类阅读和编写。同时也易于机器解析和生成。

    51 引用 • 189 回帖
  • 开源

    Open Source, Open Mind, Open Sight, Open Future!

    391 引用 • 3334 回帖
  • Docker

    Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的操作系统上。容器完全使用沙箱机制，几乎没有性能开销，可以很容易地在机器和数据中心中运行。

    469 引用 • 892 回帖
  • 坑

    一些有用的避坑指南。

    69 引用 • 93 回帖
  • danl
    • 20 关注
  • Angular

    Angular 是 AngularJS 的新版本。

    26 引用 • 66 回帖 • 457 关注
  • Python

    Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。

    528 引用 • 670 回帖
  • 区块链

    区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法 。

    92 引用 • 751 回帖 • 2 关注
  • JVM

    JVM（Java Virtual Machine）Java 虚拟机是一个微型操作系统，有自己的硬件构架体系，还有相应的指令系统。能够识别 Java 独特的 .class 文件（字节码），能够将这些文件中的信息读取出来，使得 Java 程序只需要生成 Java 虚拟机上的字节码后就能在不同操作系统平台上进行运行。

    177 引用 • 120 回帖 • 4 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架，使用 Node.js 编写。

    21 引用 • 140 回帖 • 31 关注
  • 域名

    域名（Domain Name），简称域名、网域，是由一串用点分隔的名字组成的 Internet 上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位（有时也指地理位置）。

    43 引用 • 208 回帖 • 2 关注
  • 京东

    京东是中国最大的自营式电商企业，2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月，京东在美国纳斯达克证券交易所正式挂牌上市（股票代码：JD），是中国第一个成功赴美上市的大型综合型电商平台，与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 428 关注
  • PWL

    组织简介

    用爱发电 (Programming With Love) 是一个以开源精神为核心的民间开源爱好者技术组织，“用爱发电”象征开源与贡献精神，加入组织，代表你将遵守组织的“个人开源爱好者”的各项条款。申请加入：用爱发电组织邀请帖。
    用爱发电组织官网：https://programmingwithlove.stackoverflow.wiki/

    用爱发电组织的核心驱动力：

    • 遵守开源守则，体现开源&贡献精神：以分享为目的，拒绝非法牟利。
    • 自我保护：使用适当的 License 保护自己的原创作品。
    • 尊重他人：不以各种理由、各种漏洞进行未经允许的抄袭、散播、洩露；以礼相待，尊重所有对社区做出贡献的开发者；通过他人的分享习得知识，要留下足迹，表示感谢。
    • 热爱编程、热爱学习：加入组织，热爱编程是首当其要的。我们欢迎热爱讨论、分享、提问的朋友，也同样欢迎默默成就的朋友。
    • 倾听：正确并恳切对待、处理问题与建议，及时修复开源项目的 Bug ，及时与反馈者沟通。不抬杠、不无视、不辱骂。
    • 平视：不诋毁、轻视、嘲讽其他开发者，主动提出建议、施以帮助，以和谐为本。只要他人肯努力，你也可能会被昔日小看的人所超越，所以请保持谦虚。
    • 乐观且活跃：你的努力决定了你的高度。不要放弃，多年后回头俯瞰，才会发现自己已经成就往日所仰望的水平。积极地将项目开源，帮助他人学习、改进，自己也会获得相应的提升、成就与成就感。
    1 引用 • 487 回帖 • 1 关注
  • HHKB

    HHKB 是富士通的 Happy Hacking 系列电容键盘。电容键盘即无接点静电电容式键盘（Capacitive Keyboard）。

    5 引用 • 74 回帖 • 386 关注
  • SVN

    SVN 是 Subversion 的简称，是一个开放源代码的版本控制系统，相较于 RCS、CVS，它采用了分支管理系统，它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 665 关注
  • Hprose

    Hprose 是一款先进的轻量级、跨语言、跨平台、无侵入式、高性能动态远程对象调用引擎库。它不仅简单易用，而且功能强大。你无需专门学习，只需看上几眼，就能用它轻松构建分布式应用系统。

    9 引用 • 17 回帖 • 557 关注
  • BND

    BND（Baidu Netdisk Downloader）是一款图形界面的百度网盘不限速下载器，支持 Windows、Linux 和 Mac，详细介绍请看这里。

    107 引用 • 1281 回帖 • 7 关注
  • 正则表达式

    正则表达式（Regular Expression）使用单个字符串来描述、匹配一系列遵循某个句法规则的字符串。

    31 引用 • 94 回帖
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机，如：iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    163 引用 • 594 回帖
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发，并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例： https://wide.b3log.org

    30 引用 • 218 回帖 • 572 关注
  • flomo

    flomo 是新一代 「卡片笔记」 ，专注在碎片化时代，促进你的记录，帮你积累更多知识资产。

    2 引用 • 20 回帖
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器，在 1999 年被捐献给 ASF（Apache Software Foundation），隶属于 Jakarta 项目，现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范，同时也提供 HTTP 服务，是市场上非常流行的 Java Web 容器。

    157 引用 • 529 回帖 • 1 关注

最新标签