登录 注册

功能遐想：语义搜索

本贴最后更新于 500 天前，其中的信息可能已经水流花落

刚才看到一个软件功能介绍，感觉里面的 AI 功能「语义搜索」有点意思。

我觉得「语义搜索」应该是知识管理的刚需，平常不同的表述一大堆完全记不住，记不住又找不到真的很烦。

我是把思源笔记作为知识库用的，如果能在思源笔记的搜索中引入「语义搜索」的 AI 功能（搜索算法），应该会很有帮助。

这个功能应该能够在本地实现而不用联网

试一下投票功能

你想要这种功能吗？

多选 • 公开 • 永不结束 42 票
想要
83% • 35 票
用不上
7% • 3 票
讨论讨论
9% • 4 票

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    24888 引用 • 102449 回帖
2 引用
有没有可能用本地部署的 AI 取代双链、标签、文档树、模糊搜索之类的功能吗？ • JeffreyChen
Notion 快要能用自然语言检索笔记了，思源这边有望实现类似功能吗？ • JeffreyChen
1 操作
JeffreyChen 在 2023-11-20 21:43:56 更新了该帖
2 引用
1 操作
25 回帖
8
7
2
2
2.1k 249 18 1.4k 18 11 327

相关帖子

25 回帖
功能遐想：语义搜索

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 8V9q7V •
    订阅者 支持者 捐赠者 勇士

    我觉得 D 大目前没空搞这些。obsidian 这么大的用户量都没搞这个功能。

    1 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    所以说是遐想 根本没法指望trollface

    但我觉得更多的 AI 功能应该是个人知识管理的未来必需品

  • zxhd86 • • 1 赞同
    订阅者 先知

    你是否在找：思源小助手插件？

    1 回复
  • player • via Linux
    付费者 捐赠者

    需要有价格不菲的显卡来跑大模型。每个文档都有分段做 embedding 向量。然后搜索词也做 embedding 向量。 最后做个查几个文档，与问题最相近的。这样基本就可了。能接入 openai，也可以调接口完成。

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    话说思源小助手现在能用吗？我之前下载了，但 README 里没有教程，下载了也没有界面（设置点不开、Dock 多出两个空按钮、块菜单里也没多出什么）

    1 回复
  • muxue •
    付费者 捐赠者

    想法是好的，但是想纯本地运行就是有点异想天开了。

    思源现在估计很难入局做这种 AI 类的东西，太耗精力了，再加上 openai 的 api key 的价格也不便宜，我觉得在思源笔记的笔记功能能独当一面之前都不要为了 ai 去做过多投入。

    1 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    这种「AI」其实就是搜索算法，印象中很久以前就有了，用不上大语言模型那么高端的东西。

    刚才上 GitHub 也搜到了一些相关的项目，但我对搜索这方面不了解，所以也不好说。

  • xnyshu • • 1 赞同 via macOS
    支持者 捐赠者

    这个功能颠覆了双链。更灵活，不需要费时添加链接。

    2 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    换个角度看也可以更方便建立双向链接

  • zxhd86 • • 1 • 1 评论
    订阅者 先知

    功能很多，所以文档天然难产，毕竟作者是写给自己用的，他不需要文档就知道怎么用，在写代码花了很大功夫的情况下对于写文档就提不起热情了……

    两个 dock，一个是 ai 对话，能根据你投喂给 ai 的块进行回答，另一个是智能推荐，其实就是语义搜索，会在你写文档的时候自动浮现相似的块。

    但是，需要提前说明的是，在本地运行这个模型，对性能的消耗不小。

    1 回复
    害，写完程序就不想写文档了，这东西真要写文档得写老长了
    leolee •
  • zuoez02 •
    订阅者 付费者 先知

    为了能本地运行，你投入的钱都得几万块……

    1 回复
  • leolee • via Android
    订阅者 捐赠者 恶龙

    不用啦，用来做 embedding 的模型，不需要推理的那么大，量化以后百来兆的模型中文嵌入效果其实就不错了

    1 回复
  • wumaojj • via macOS
    付费者

    颠覆不敢说，但多一个震撼性的自动助理，是很好的。

    就像现在的 AI 审片一样，可以给医生 N 多建议。

    但说，拿掉医生？

    当然，AI 的进化也可能很快打脸。

  • leolee •
    订阅者 捐赠者 恶龙

    调成 openAI 或者 索引占用核心改为 1，有时间得加一下星火和百度的嵌入接口

  • leolee • • 2 赞同
    订阅者 捐赠者 恶龙

    image.png

  • leolee •
    订阅者 捐赠者 恶龙

    image.pngimage.png

  • leolee •
    订阅者 捐赠者 恶龙

    类似这样？

    1 回复
  • leolee •
    订阅者 捐赠者 恶龙

    image.png

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    感觉相当不错

  • xnyshu • via macOS
    支持者 捐赠者

    大神写篇教程。

  • leolee • • 1 赞同 • 1 评论
    订阅者 捐赠者 恶龙

    虽然我也顶了，不过我要先提醒一下哈，就我目前开发的经验来看，这个功能会面临几个问题：

    如果嵌入使用本地模型的话，首先即使压缩模型的大小，中文可用的 sota 模型 text-vec-chinese 也至少是百来兆的，使用 cpu 嵌入性能占用不低，使用 gpu 的话暂时我还没有找到比较好整合进思源的库（我目前用的是 transformers.js）

    然后如果使用远程的接口的话，要生成嵌入向量就需要把笔记内容发送给服务商的接口（思源小助手的嵌入选项只有本地模型和 open AI 也有这个原因），这里有可能有隐私问题。

    再就是向量的最近邻计算，我用 js 来做的话单纯的计算倒不是很慢，几十万个块也能快速出结果，但是这样做的代价是把全部向量加载进了内存，如果不这样做的化还得找一个合适的向量数据库。

    最后是向量的存储问题，如果检索粒度到单个内容块的话，尤其是对于习惯使用短文本列表的用户，特征向量文件的大小可能比笔记本身还要大很多，这也是一个问题。

    1 回复
    做进软件本体肯定就要找一下合适的向量数据库了，我这种绿皮搞法肯定是不行的
    leolee •
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    我知道这个功能非常难做好，但还是想顶帖看看有没有大佬感兴趣开发trollface

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    顶顶贴，有人开发咩 👀

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    相关： 有没有可能用本地部署的 AI 取代双链、标签、文档树、模糊搜索之类的功能吗？

  • Reader • • 1 赞同
    付费者 支持者 捐赠者

    这个功能很好，但是我觉得会非常难做好。不谈技术方面的问题，光逻辑层面就有一个大难题。其实视频开头也点出了这个问题了，即每个页面聚焦一个主题，搜索时以页面为基准。

    但是思源是支持 Daily Note 笔记法的，所以在一个日记文档页面中可能会有 N 个不同的主题。而在系统文章中，则是一个页面一个主题了。

    于是问题来了，语义搜索，究竟以什么粒度为基准？

    如果以文档页面为基准，那会不会搜出来日记的杂讯？比如我搜一个 iPhone 的价格变化，那么有没有可能会搜出来，在一篇日记当中即写了 iPhone 性能提升，也写了新能源汽车价格变化，这样的一篇日记文档？

    如果以块为基准，那么怎么界定主题的范围？比如我有一篇探讨历年 iPhone 的价格变化的文章，但是 iPhone 和价格这两个关键词，写在了不同的两个块中，那么能搜到吗？

    当然，这只是我这个技术小白的一个疑惑，也许业内已经解决了但是我不知道，说错了还望勿怪huaji

    PS：这其实也是所有支持 Daily Note 笔记法的笔记软件难以解决的问题。搜索其实是以主题为基准的，传统笔记一篇文档就是一个主题，所以搜索相对来说好做。DN 流笔记，日常琐碎用块粒度记录，系统文章又用文档粒度记录，一个搜索方式难以兼容两种不同的书写粒度，所以搜索只有一半的功能。

    1 操作
    Reader 在 2023-12-12 11:39:20 更新了该回帖
请输入回帖内容 ...
JeffreyChen
思源是支持 Markdown 语法输入的块编辑器，不是 Markdown 文件编辑器； 思源笔记同步教程：https://ld246.com/article/1692089679062 爱发电：https://afdian.com/a/JeffreyChen
回帖
8213
 帖子
135
 积分
2963

近期热议

推荐标签 标签

  • 友情链接

    确认过眼神后的灵魂连接，站在链在！

    24 引用 • 373 回帖
  • VirtualBox

    VirtualBox 是一款开源虚拟机软件，最早由德国 Innotek 公司开发，由 Sun Microsystems 公司出品的软件，使用 Qt 编写，在 Sun 被 Oracle 收购后正式更名成 Oracle VM VirtualBox。

    10 引用 • 2 回帖 • 16 关注
  • FreeMarker

    FreeMarker 是一款好用且功能强大的 Java 模版引擎。

    23 引用 • 20 回帖 • 458 关注
  • MySQL

    MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 是最流行的关系型数据库管理系统之一。

    693 引用 • 537 回帖 • 1 关注
  • Scala

    Scala 是一门多范式的编程语言，集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 159 关注
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言，由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码，也可以编译成 JavaScript，方便在没有 JVM 的设备上运行。在 Google I/O 2017 中，Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 77 关注
  • 生活

    生活是指人类生存过程中的各项活动的总和，范畴较广，一般指为幸福的意义而存在。生活实际上是对人生的一种诠释。生活包括人类在社会中与自己息息相关的日常活动和心理影射。

    230 引用 • 1454 回帖
  • Follow
    4 引用 • 12 回帖 • 10 关注
  • 招聘

    哪里都缺人，哪里都不缺人。

    189 引用 • 1057 回帖
  • PWL

    组织简介

    用爱发电 (Programming With Love) 是一个以开源精神为核心的民间开源爱好者技术组织，“用爱发电”象征开源与贡献精神，加入组织，代表你将遵守组织的“个人开源爱好者”的各项条款。申请加入：用爱发电组织邀请帖。
    用爱发电组织官网：https://programmingwithlove.stackoverflow.wiki/

    用爱发电组织的核心驱动力：

    • 遵守开源守则，体现开源&贡献精神：以分享为目的，拒绝非法牟利。
    • 自我保护：使用适当的 License 保护自己的原创作品。
    • 尊重他人：不以各种理由、各种漏洞进行未经允许的抄袭、散播、洩露；以礼相待，尊重所有对社区做出贡献的开发者；通过他人的分享习得知识，要留下足迹，表示感谢。
    • 热爱编程、热爱学习：加入组织，热爱编程是首当其要的。我们欢迎热爱讨论、分享、提问的朋友，也同样欢迎默默成就的朋友。
    • 倾听：正确并恳切对待、处理问题与建议，及时修复开源项目的 Bug ，及时与反馈者沟通。不抬杠、不无视、不辱骂。
    • 平视：不诋毁、轻视、嘲讽其他开发者，主动提出建议、施以帮助，以和谐为本。只要他人肯努力，你也可能会被昔日小看的人所超越，所以请保持谦虚。
    • 乐观且活跃：你的努力决定了你的高度。不要放弃，多年后回头俯瞰，才会发现自己已经成就往日所仰望的水平。积极地将项目开源，帮助他人学习、改进，自己也会获得相应的提升、成就与成就感。
    1 引用 • 487 回帖 • 2 关注
  • 安全

    安全永远都不是一个小问题。

    203 引用 • 818 回帖 • 1 关注
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

    117 引用 • 99 回帖 • 207 关注
  • Quicker

    Quicker 您的指尖工具箱！操作更少，收获更多！

    36 引用 • 155 回帖
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖
  • 叶归
    5 引用 • 16 回帖 • 11 关注
  • 服务器

    服务器，也称伺服器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。

    125 引用 • 585 回帖 • 2 关注
  • jsoup

    jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

    6 引用 • 1 回帖 • 489 关注
  • Thymeleaf

    Thymeleaf 是一款用于渲染 XML/XHTML/HTML5 内容的模板引擎。类似 Velocity、 FreeMarker 等，它也可以轻易的与 Spring 等 Web 框架进行集成作为 Web 应用的模板引擎。与其它模板引擎相比，Thymeleaf 最大的特点是能够直接在浏览器中打开并正确显示模板页面，而不需要启动整个 Web 应用。

    11 引用 • 19 回帖 • 386 关注
  • Firefox

    Mozilla Firefox 中文俗称“火狐”（正式缩写为 Fx 或 fx，非正式缩写为 FF），是一个开源的网页浏览器，使用 Gecko 排版引擎，支持多种操作系统，如 Windows、OSX 及 Linux 等。

    7 引用 • 30 回帖 • 391 关注
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 46 关注
  • Sillot

    Insights（注意当前设置 master 为默认分支）

    汐洛彖夲肜矩阵（Sillot T☳Converbenk Matrix），致力于服务智慧新彖乄，具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架（Sillot-Gibbet）基于自思源笔记（siyuan-note），前身是思源笔记汐洛版（更早是思源笔记汐洛分支），是智慧新录乄终端（多端融合，移动端优先）。

    主仓库地址：Hi-Windom/Sillot

    文档地址：sillot.db.sc.cn

    注意事项：

    1. ⚠️ 汐洛仍在早期开发阶段，尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计，使用前请了解风险
    3. ⚠️ 汐洛绞架基于思源笔记，开发者尽最大努力与思源笔记保持兼容，但无法实现 100% 兼容
    29 引用 • 25 回帖 • 109 关注
  • 新人

    让我们欢迎这对新人。哦，不好意思说错了，让我们欢迎这位新人！
    新手上路，请谨慎驾驶！

    52 引用 • 228 回帖
  • Laravel

    Laravel 是一套简洁、优雅的 PHP Web 开发框架。它采用 MVC 设计，是一款崇尚开发效率的全栈框架。

    20 引用 • 23 回帖 • 740 关注
  • 禅道

    禅道是一款国产的开源项目管理软件，她的核心管理思想基于敏捷方法 scrum，内置了产品管理和项目管理，同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能，在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来，完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 34 关注
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成，还支持通过插件进行扩展。

    10 引用 • 5 回帖 • 2 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器，详细介绍请看 将 Java Swing 应用变成 Web 应用 。

    1 引用 • 15 回帖 • 643 关注
  • Facebook

    Facebook 是一个联系朋友的社交工具。大家可以通过它和朋友、同事、同学以及周围的人保持互动交流，分享无限上传的图片，发布链接和视频，更可以增进对朋友的了解。

    4 引用 • 15 回帖 • 443 关注

最新标签