登录 注册

功能遐想：语义搜索

本贴最后更新于 542 天前，其中的信息可能已经水流花落

刚才看到一个软件功能介绍，感觉里面的 AI 功能「语义搜索」有点意思。

我觉得「语义搜索」应该是知识管理的刚需，平常不同的表述一大堆完全记不住，记不住又找不到真的很烦。

我是把思源笔记作为知识库用的，如果能在思源笔记的搜索中引入「语义搜索」的 AI 功能（搜索算法），应该会很有帮助。

这个功能应该能够在本地实现而不用联网

试一下投票功能

你想要这种功能吗？

多选 • 公开 • 永不结束 42 票
想要
83% • 35 票
用不上
7% • 3 票
讨论讨论
9% • 4 票

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    25537 引用 • 105626 回帖 • 1 关注
2 引用
有没有可能用本地部署的 AI 取代双链、标签、文档树、模糊搜索之类的功能吗？ • JeffreyChen
Notion 快要能用自然语言检索笔记了，思源这边有望实现类似功能吗？ • JeffreyChen
1 操作
JeffreyChen 在 2023-11-20 21:43:56 更新了该帖
2 引用
1 操作
25 回帖
8
7
2
2
2.2k 249 18 1.5k 18 11 402

相关帖子

25 回帖
功能遐想：语义搜索

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 8V9q7V •
    订阅者 支持者 捐赠者 勇士

    我觉得 D 大目前没空搞这些。obsidian 这么大的用户量都没搞这个功能。

    1 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    所以说是遐想 根本没法指望trollface

    但我觉得更多的 AI 功能应该是个人知识管理的未来必需品

  • zxhd86 • • 1 赞同
    订阅者 先知

    你是否在找：思源小助手插件？

    1 回复
  • player • via Linux
    付费者 捐赠者

    需要有价格不菲的显卡来跑大模型。每个文档都有分段做 embedding 向量。然后搜索词也做 embedding 向量。 最后做个查几个文档，与问题最相近的。这样基本就可了。能接入 openai，也可以调接口完成。

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    话说思源小助手现在能用吗？我之前下载了，但 README 里没有教程，下载了也没有界面（设置点不开、Dock 多出两个空按钮、块菜单里也没多出什么）

    1 回复
  • muxue •
    付费者 捐赠者

    想法是好的，但是想纯本地运行就是有点异想天开了。

    思源现在估计很难入局做这种 AI 类的东西，太耗精力了，再加上 openai 的 api key 的价格也不便宜，我觉得在思源笔记的笔记功能能独当一面之前都不要为了 ai 去做过多投入。

    1 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    这种「AI」其实就是搜索算法，印象中很久以前就有了，用不上大语言模型那么高端的东西。

    刚才上 GitHub 也搜到了一些相关的项目，但我对搜索这方面不了解，所以也不好说。

  • xnyshu • • 1 赞同 via macOS
    支持者 捐赠者

    这个功能颠覆了双链。更灵活，不需要费时添加链接。

    2 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    换个角度看也可以更方便建立双向链接

  • zxhd86 • • 1 • 1 评论
    订阅者 先知

    功能很多，所以文档天然难产，毕竟作者是写给自己用的，他不需要文档就知道怎么用，在写代码花了很大功夫的情况下对于写文档就提不起热情了……

    两个 dock，一个是 ai 对话，能根据你投喂给 ai 的块进行回答，另一个是智能推荐，其实就是语义搜索，会在你写文档的时候自动浮现相似的块。

    但是，需要提前说明的是，在本地运行这个模型，对性能的消耗不小。

    1 回复
    害，写完程序就不想写文档了，这东西真要写文档得写老长了
    leolee •
  • zuoez02 •
    订阅者 付费者 先知

    为了能本地运行，你投入的钱都得几万块……

    1 回复
  • leolee • via Android
    订阅者 捐赠者 恶龙

    不用啦，用来做 embedding 的模型，不需要推理的那么大，量化以后百来兆的模型中文嵌入效果其实就不错了

    1 回复
  • wumaojj • via macOS
    付费者

    颠覆不敢说，但多一个震撼性的自动助理，是很好的。

    就像现在的 AI 审片一样，可以给医生 N 多建议。

    但说，拿掉医生？

    当然，AI 的进化也可能很快打脸。

  • leolee •
    订阅者 捐赠者 恶龙

    调成 openAI 或者 索引占用核心改为 1，有时间得加一下星火和百度的嵌入接口

  • leolee • • 2 赞同
    订阅者 捐赠者 恶龙

    image.png

  • leolee •
    订阅者 捐赠者 恶龙

    image.pngimage.png

  • leolee •
    订阅者 捐赠者 恶龙

    类似这样？

    1 回复
  • leolee •
    订阅者 捐赠者 恶龙

    image.png

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    感觉相当不错

  • xnyshu • via macOS
    支持者 捐赠者

    大神写篇教程。

  • leolee • • 1 赞同 • 1 评论
    订阅者 捐赠者 恶龙

    虽然我也顶了，不过我要先提醒一下哈，就我目前开发的经验来看，这个功能会面临几个问题：

    如果嵌入使用本地模型的话，首先即使压缩模型的大小，中文可用的 sota 模型 text-vec-chinese 也至少是百来兆的，使用 cpu 嵌入性能占用不低，使用 gpu 的话暂时我还没有找到比较好整合进思源的库（我目前用的是 transformers.js）

    然后如果使用远程的接口的话，要生成嵌入向量就需要把笔记内容发送给服务商的接口（思源小助手的嵌入选项只有本地模型和 open AI 也有这个原因），这里有可能有隐私问题。

    再就是向量的最近邻计算，我用 js 来做的话单纯的计算倒不是很慢，几十万个块也能快速出结果，但是这样做的代价是把全部向量加载进了内存，如果不这样做的化还得找一个合适的向量数据库。

    最后是向量的存储问题，如果检索粒度到单个内容块的话，尤其是对于习惯使用短文本列表的用户，特征向量文件的大小可能比笔记本身还要大很多，这也是一个问题。

    1 回复
    做进软件本体肯定就要找一下合适的向量数据库了，我这种绿皮搞法肯定是不行的
    leolee •
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    我知道这个功能非常难做好，但还是想顶帖看看有没有大佬感兴趣开发trollface

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    顶顶贴，有人开发咩 👀

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    相关： 有没有可能用本地部署的 AI 取代双链、标签、文档树、模糊搜索之类的功能吗？

  • Reader • • 1 赞同
    付费者 支持者 捐赠者

    这个功能很好，但是我觉得会非常难做好。不谈技术方面的问题，光逻辑层面就有一个大难题。其实视频开头也点出了这个问题了，即每个页面聚焦一个主题，搜索时以页面为基准。

    但是思源是支持 Daily Note 笔记法的，所以在一个日记文档页面中可能会有 N 个不同的主题。而在系统文章中，则是一个页面一个主题了。

    于是问题来了，语义搜索，究竟以什么粒度为基准？

    如果以文档页面为基准，那会不会搜出来日记的杂讯？比如我搜一个 iPhone 的价格变化，那么有没有可能会搜出来，在一篇日记当中即写了 iPhone 性能提升，也写了新能源汽车价格变化，这样的一篇日记文档？

    如果以块为基准，那么怎么界定主题的范围？比如我有一篇探讨历年 iPhone 的价格变化的文章，但是 iPhone 和价格这两个关键词，写在了不同的两个块中，那么能搜到吗？

    当然，这只是我这个技术小白的一个疑惑，也许业内已经解决了但是我不知道，说错了还望勿怪huaji

    PS：这其实也是所有支持 Daily Note 笔记法的笔记软件难以解决的问题。搜索其实是以主题为基准的，传统笔记一篇文档就是一个主题，所以搜索相对来说好做。DN 流笔记，日常琐碎用块粒度记录，系统文章又用文档粒度记录，一个搜索方式难以兼容两种不同的书写粒度，所以搜索只有一半的功能。

    1 操作
    Reader 在 2023-12-12 11:39:20 更新了该回帖
请输入回帖内容 ...
JeffreyChen
思源是支持 Markdown 语法输入的块编辑器，不是 Markdown 文件编辑器； 思源笔记同步教程：https://ld246.com/article/1692089679062 爱发电：https://afdian.com/a/JeffreyChen
回帖
8932
 帖子
136
 积分
1911

近期热议

推荐标签 标签

  • 学习

    “梦想从学习开始，事业从实践起步” —— 习近平

    175 引用 • 543 回帖
  • 持续集成

    持续集成（Continuous Integration）是一种软件开发实践，即团队开发成员经常集成他们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误。

    15 引用 • 7 回帖 • 2 关注
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量，事件及实时分析。

    2 引用 • 93 关注
  • Hibernate

    Hibernate 是一个开放源代码的对象关系映射框架，它对 JDBC 进行了非常轻量级的对象封装，使得 Java 程序员可以随心所欲的使用对象编程思维来操纵数据库。

    39 引用 • 103 回帖 • 727 关注
  • 微信

    腾讯公司 2011 年 1 月 21 日推出的一款手机通讯软件。用户可以通过摇一摇、搜索号码、扫描二维码等添加好友和关注公众平台，同时可以将自己看到的精彩内容分享到微信朋友圈。

    133 引用 • 796 回帖
  • 新人

    让我们欢迎这对新人。哦，不好意思说错了，让我们欢迎这位新人！
    新手上路，请谨慎驾驶！

    52 引用 • 228 回帖
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 32 关注
  • NetBeans

    NetBeans 是一个始于 1997 年的 Xelfi 计划，本身是捷克布拉格查理大学的数学及物理学院的学生计划。此计划延伸而成立了一家公司进而发展这个商用版本的 NetBeans IDE，直到 1999 年 Sun 买下此公司。Sun 于次年（2000 年）六月将 NetBeans IDE 开源，直到现在 NetBeans 的社群依然持续增长。

    78 引用 • 102 回帖 • 701 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖 • 2 关注
  • 星云链

    星云链是一个开源公链，业内简单的将其称为区块链上的谷歌。其实它不仅仅是区块链搜索引擎，一个公链的所有功能，它基本都有，比如你可以用它来开发部署你的去中心化的 APP，你可以在上面编写智能合约，发送交易等等。3 分钟快速接入星云链 (NAS) 测试网

    3 引用 • 16 回帖
  • 脑图

    脑图又叫思维导图，是表达发散性思维的有效图形思维工具 ，它简单却又很有效，是一种实用性的思维工具。

    32 引用 • 99 回帖 • 2 关注
  • JWT

    JWT（JSON Web Token）是一种用于双方之间传递信息的简洁的、安全的表述性声明规范。JWT 作为一个开放的标准（RFC 7519），定义了一种简洁的，自包含的方法用于通信双方之间以 JSON 的形式安全的传递信息。

    20 引用 • 15 回帖 • 23 关注
  • Ant-Design

    Ant Design 是服务于企业级产品的设计体系，基于确定和自然的设计价值观上的模块化解决方案，让设计者和开发者专注于更好的用户体验。

    17 引用 • 23 回帖
  • IBM

    IBM（国际商业机器公司）或万国商业机器公司，简称 IBM（International Business Machines Corporation），总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国，是全球最大的信息技术和业务解决方案公司，拥有全球雇员 30 多万人，业务遍及 160 多个国家和地区。

    17 引用 • 53 回帖 • 142 关注
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统，它问世于 1985 年，起初仅仅是 Microsoft-DOS 模拟环境，后续的系统版本由于微软不断的更新升级，不但易用，也慢慢的成为家家户户人们最喜爱的操作系统。

    227 引用 • 476 回帖
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统，主要使用于便携设备。2005 年由 Google 收购注资，并拉拢多家制造商组成开放手机联盟开发改良，逐渐扩展到到平板电脑及其他领域上。

    336 引用 • 324 回帖 • 1 关注
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展，它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖 • 1 关注
  • 前端

    前端技术一般分为前端设计和前端开发，前端设计可以理解为网站的视觉设计，前端开发则是网站的前台代码实现，包括 HTML、CSS 以及 JavaScript 等。

    246 引用 • 1338 回帖
  • 机器学习

    机器学习（Machine Learning）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

    83 引用 • 37 回帖
  • Solidity

    Solidity 是一种智能合约高级语言，运行在 [以太坊] 虚拟机（EVM）之上。它的语法接近于 JavaScript，是一种面向对象的语言。

    3 引用 • 18 回帖 • 432 关注
  • 负能量

    上帝为你关上了一扇门，然后就去睡觉了....努力不一定能成功，但不努力一定很轻松 (° ー °〃)

    89 引用 • 1251 回帖 • 407 关注
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态；标准是由主流手机厂商组成的快应用联盟联合制定；快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台；以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖 • 4 关注
  • 30Seconds

    📙 前端知识精选集，包含 HTML、CSS、JavaScript、React、Node、安全等方面，每天仅需 30 秒。

    • 精选常见面试题，帮助您准备下一次面试
    • 精选常见交互，帮助您拥有简洁酷炫的站点
    • 精选有用的 React 片段，帮助你获取最佳实践
    • 精选常见代码集，帮助您提高打码效率
    • 整理前端界的最新资讯，邀您一同探索新世界
    488 引用 • 384 回帖 • 9 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    315 引用 • 547 回帖 • 1 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架，使用 Node.js 编写。

    22 引用 • 148 回帖 • 17 关注
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    9769 引用 • 44452 回帖 • 89 关注
  • Markdown

    Markdown 是一种轻量级标记语言，用户可使用纯文本编辑器来排版文档，最终通过 Markdown 引擎将文档转换为所需格式（比如 HTML、PDF 等）。

    170 引用 • 1529 回帖

最新标签