登录 注册

功能遐想：语义搜索

本贴最后更新于 278 天前，其中的信息可能已经水流花落

刚才看到一个软件功能介绍，感觉里面的 AI 功能「语义搜索」有点意思。

https://www.bilibili.com/video/BV1Rh411F71c/

我觉得「语义搜索」应该是知识管理的刚需，平常不同的表述一大堆完全记不住，记不住又找不到真的很烦。

我是把思源笔记作为知识库用的，如果能在思源笔记的搜索中引入「语义搜索」的 AI 功能（搜索算法），应该会很有帮助。

这个功能应该能够在本地实现而不用联网

试一下投票功能

你想要这种功能吗？

多选 • 公开 • 永不结束 38 票
想要
81% • 31 票
用不上
7% • 3 票
讨论讨论
10% • 4 票

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    20645 引用 • 80676 回帖 • 1 关注
2 引用
有没有可能用本地部署的 AI 取代双链、标签、文档树、模糊搜索之类的功能吗？ • JeffreyChen
Notion 快要能用自然语言检索笔记了，思源这边有望实现类似功能吗？ • JeffreyChen
1 操作
JeffreyChen 在 2023-11-20 21:43:56 更新了该帖
2 引用
1 操作
25 回帖
8
7
2
2
1.4k 232 18 906 8 11 178

相关帖子

25 回帖
功能遐想：语义搜索

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 8V9q7V •
    订阅者 支持者 捐赠者 勇士

    我觉得 D 大目前没空搞这些。obsidian 这么大的用户量都没搞这个功能。

    1 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    所以说是遐想 根本没法指望trollface

    但我觉得更多的 AI 功能应该是个人知识管理的未来必需品

  • zxhd86 • • 1 赞同
    订阅者 先知

    你是否在找：思源小助手插件？

    1 回复
  • player •
    付费者 捐赠者

    需要有价格不菲的显卡来跑大模型。每个文档都有分段做 embedding 向量。然后搜索词也做 embedding 向量。 最后做个查几个文档，与问题最相近的。这样基本就可了。能接入 openai，也可以调接口完成。

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    话说思源小助手现在能用吗？我之前下载了，但 README 里没有教程，下载了也没有界面（设置点不开、Dock 多出两个空按钮、块菜单里也没多出什么）

    1 回复
  • muxue •
    付费者 捐赠者

    想法是好的，但是想纯本地运行就是有点异想天开了。

    思源现在估计很难入局做这种 AI 类的东西，太耗精力了，再加上 openai 的 api key 的价格也不便宜，我觉得在思源笔记的笔记功能能独当一面之前都不要为了 ai 去做过多投入。

    1 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    这种「AI」其实就是搜索算法，印象中很久以前就有了，用不上大语言模型那么高端的东西。

    刚才上 GitHub 也搜到了一些相关的项目，但我对搜索这方面不了解，所以也不好说。

  • xnyshu • • 1 赞同
    支持者

    这个功能颠覆了双链。更灵活，不需要费时添加链接。

    2 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    换个角度看也可以更方便建立双向链接

  • zxhd86 • • 1 • 1 评论
    订阅者 先知

    功能很多，所以文档天然难产，毕竟作者是写给自己用的，他不需要文档就知道怎么用，在写代码花了很大功夫的情况下对于写文档就提不起热情了……

    两个 dock，一个是 ai 对话，能根据你投喂给 ai 的块进行回答，另一个是智能推荐，其实就是语义搜索，会在你写文档的时候自动浮现相似的块。

    但是，需要提前说明的是，在本地运行这个模型，对性能的消耗不小。

    1 回复
    害，写完程序就不想写文档了，这东西真要写文档得写老长了
    leolee •
  • zuoez02 •
    订阅者 付费者 先知

    为了能本地运行，你投入的钱都得几万块……

    1 回复
  • leolee •
    订阅者 捐赠者 恶龙

    不用啦，用来做 embedding 的模型，不需要推理的那么大，量化以后百来兆的模型中文嵌入效果其实就不错了

    1 回复
  • wumaojj •
    付费者

    颠覆不敢说，但多一个震撼性的自动助理，是很好的。

    就像现在的 AI 审片一样，可以给医生 N 多建议。

    但说，拿掉医生？

    当然，AI 的进化也可能很快打脸。

  • leolee •
    订阅者 捐赠者 恶龙

    调成 openAI 或者 索引占用核心改为 1，有时间得加一下星火和百度的嵌入接口

  • leolee • • 2 赞同
    订阅者 捐赠者 恶龙

    image.png

  • leolee •
    订阅者 捐赠者 恶龙

    image.pngimage.png

  • leolee •
    订阅者 捐赠者 恶龙

    类似这样？

    1 回复
  • leolee •
    订阅者 捐赠者 恶龙

    image.png

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    感觉相当不错

  • xnyshu •
    支持者

    大神写篇教程。

  • leolee • • 1 赞同 • 1 评论
    订阅者 捐赠者 恶龙

    虽然我也顶了，不过我要先提醒一下哈，就我目前开发的经验来看，这个功能会面临几个问题：

    如果嵌入使用本地模型的话，首先即使压缩模型的大小，中文可用的 sota 模型 text-vec-chinese 也至少是百来兆的，使用 cpu 嵌入性能占用不低，使用 gpu 的话暂时我还没有找到比较好整合进思源的库（我目前用的是 transformers.js）

    然后如果使用远程的接口的话，要生成嵌入向量就需要把笔记内容发送给服务商的接口（思源小助手的嵌入选项只有本地模型和 open AI 也有这个原因），这里有可能有隐私问题。

    再就是向量的最近邻计算，我用 js 来做的话单纯的计算倒不是很慢，几十万个块也能快速出结果，但是这样做的代价是把全部向量加载进了内存，如果不这样做的化还得找一个合适的向量数据库。

    最后是向量的存储问题，如果检索粒度到单个内容块的话，尤其是对于习惯使用短文本列表的用户，特征向量文件的大小可能比笔记本身还要大很多，这也是一个问题。

    1 回复
    做进软件本体肯定就要找一下合适的向量数据库了，我这种绿皮搞法肯定是不行的
    leolee •
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    我知道这个功能非常难做好，但还是想顶帖看看有没有大佬感兴趣开发trollface

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    顶顶贴，有人开发咩 👀

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    相关： 有没有可能用本地部署的 AI 取代双链、标签、文档树、模糊搜索之类的功能吗？

  • Reader • • 1 赞同
    付费者 支持者 捐赠者

    这个功能很好，但是我觉得会非常难做好。不谈技术方面的问题，光逻辑层面就有一个大难题。其实视频开头也点出了这个问题了，即每个页面聚焦一个主题，搜索时以页面为基准。

    但是思源是支持 Daily Note 笔记法的，所以在一个日记文档页面中可能会有 N 个不同的主题。而在系统文章中，则是一个页面一个主题了。

    于是问题来了，语义搜索，究竟以什么粒度为基准？

    如果以文档页面为基准，那会不会搜出来日记的杂讯？比如我搜一个 iPhone 的价格变化，那么有没有可能会搜出来，在一篇日记当中即写了 iPhone 性能提升，也写了新能源汽车价格变化，这样的一篇日记文档？

    如果以块为基准，那么怎么界定主题的范围？比如我有一篇探讨历年 iPhone 的价格变化的文章，但是 iPhone 和价格这两个关键词，写在了不同的两个块中，那么能搜到吗？

    当然，这只是我这个技术小白的一个疑惑，也许业内已经解决了但是我不知道，说错了还望勿怪huaji

    PS：这其实也是所有支持 Daily Note 笔记法的笔记软件难以解决的问题。搜索其实是以主题为基准的，传统笔记一篇文档就是一个主题，所以搜索相对来说好做。DN 流笔记，日常琐碎用块粒度记录，系统文章又用文档粒度记录，一个搜索方式难以兼容两种不同的书写粒度，所以搜索只有一半的功能。

    1 操作
    Reader 在 2023-12-12 11:39:20 更新了该回帖
请输入回帖内容 ...
JeffreyChen
思源笔记同步教程：ld246.com/article/1692089679062
回帖
4523
 帖子
112
 积分
2800

近期热议

推荐标签 标签

  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

    116 引用 • 99 回帖 • 247 关注
  • JSON

    JSON （JavaScript Object Notation）是一种轻量级的数据交换格式。易于人类阅读和编写。同时也易于机器解析和生成。

    52 引用 • 190 回帖
  • Flutter

    Flutter 是谷歌的移动 UI 框架，可以快速在 iOS 和 Android 上构建高质量的原生用户界面。 Flutter 可以与现有的代码一起工作，它正在被越来越多的开发者和组织使用，并且 Flutter 是完全免费、开源的。

    39 引用 • 92 回帖 • 8 关注
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 26 关注
  • 导航

    各种网址链接、内容导航。

    37 引用 • 168 回帖
  • Sphinx

    Sphinx 是一个基于 SQL 的全文检索引擎，可以结合 MySQL、PostgreSQL 做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。

    1 引用 • 193 关注
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务，可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务，所以该项目也已经停止维护了！

    34 引用 • 467 回帖 • 713 关注
  • 架构

    我们平时所说的“架构”主要是指软件架构，这是有关软件整体结构与组件的抽象描述，用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    142 引用 • 442 回帖
  • Chrome

    Chrome 又称 Google 浏览器，是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写，包括 WebKit，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。

    62 引用 • 289 回帖
  • Quicker

    Quicker 您的指尖工具箱！操作更少，收获更多！

    28 引用 • 101 回帖
  • OpenResty

    OpenResty 是一个基于 NGINX 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

    17 引用 • 45 关注
  • FreeMarker

    FreeMarker 是一款好用且功能强大的 Java 模版引擎。

    23 引用 • 20 回帖 • 444 关注
  • 人工智能

    人工智能（Artificial Intelligence）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    114 引用 • 170 回帖
  • 笔记

    好记性不如烂笔头。

    308 引用 • 787 回帖
  • Google

    Google（Google Inc.，NASDAQ：GOOG）是一家美国上市公司（公有股份公司），于 1998 年 9 月 7 日以私有股份公司的形式创立，设计并管理一个互联网搜索引擎。Google 公司的总部称作“Googleplex”，它位于加利福尼亚山景城。Google 目前被公认为是全球规模最大的搜索引擎，它提供了简单易用的免费服务。不作恶（Don't be evil）是谷歌公司的一项非正式的公司口号。

    49 引用 • 192 回帖 • 1 关注
  • 音乐

    你听到信仰的声音了么？

    60 引用 • 510 回帖 • 1 关注
  • 微信

    腾讯公司 2011 年 1 月 21 日推出的一款手机通讯软件。用户可以通过摇一摇、搜索号码、扫描二维码等添加好友和关注公众平台，同时可以将自己看到的精彩内容分享到微信朋友圈。

    130 引用 • 793 回帖 • 1 关注
  • 宕机

    宕机，多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态，也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态，也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 51 关注
  • GitLab

    GitLab 是利用 Ruby 一个开源的版本管理系统，实现一个自托管的 Git 项目仓库，可通过 Web 界面操作公开或私有项目。

    46 引用 • 72 回帖 • 1 关注
  • 小说

    小说是以刻画人物形象为中心，通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖 • 1 关注
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    206 引用 • 358 回帖 • 1 关注
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    7274 引用 • 33162 回帖 • 203 关注
  • 安全

    安全永远都不是一个小问题。

    195 引用 • 813 回帖
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言，应用广泛。C++ 支持多种编程范式，面向对象编程、泛型编程和过程化编程。

    106 引用 • 152 回帖 • 2 关注
  • 开源

    Open Source, Open Mind, Open Sight, Open Future!

    405 引用 • 3557 回帖
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量，事件及实时分析。

    2 引用 • 58 关注
  • 支付宝

    支付宝是全球领先的独立第三方支付平台，致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验，及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖

最新标签