登录 注册

功能遐想：语义搜索

本贴最后更新于 226 天前，其中的信息可能已经水流花落

刚才看到一个软件功能介绍，感觉里面的 AI 功能「语义搜索」有点意思。

https://www.bilibili.com/video/BV1Rh411F71c/

我觉得「语义搜索」应该是知识管理的刚需，平常不同的表述一大堆完全记不住，记不住又找不到真的很烦。

我是把思源笔记作为知识库用的，如果能在思源笔记的搜索中引入「语义搜索」的 AI 功能（搜索算法），应该会很有帮助。

这个功能应该能够在本地实现而不用联网

试一下投票功能

你想要这种功能吗？

多选 • 公开 • 永不结束 37 票
想要
81% • 30 票
用不上
8% • 3 票
讨论讨论
10% • 4 票

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    19811 引用 • 75861 回帖
2 引用
有没有可能用本地部署的 AI 取代双链、标签、文档树、模糊搜索之类的功能吗？ • JeffreyChen
Notion 快要能用自然语言检索笔记了，思源这边有望实现类似功能吗？ • JeffreyChen
1 操作
JeffreyChen 在 2023-11-20 21:43:56 更新了该帖
2 引用
1 操作
25 回帖
8
7
2
2
1.2k 231 18 783 8 11 178

相关帖子

25 回帖
功能遐想：语义搜索

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 8V9q7V •
    订阅者 支持者 捐赠者 勇士

    我觉得 D 大目前没空搞这些。obsidian 这么大的用户量都没搞这个功能。

    1 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    所以说是遐想 根本没法指望trollface

    但我觉得更多的 AI 功能应该是个人知识管理的未来必需品

  • zxhd86 • • 1 赞同
    订阅者 先知

    你是否在找：思源小助手插件？

    1 回复
  • player •
    付费者 捐赠者

    需要有价格不菲的显卡来跑大模型。每个文档都有分段做 embedding 向量。然后搜索词也做 embedding 向量。 最后做个查几个文档，与问题最相近的。这样基本就可了。能接入 openai，也可以调接口完成。

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    话说思源小助手现在能用吗？我之前下载了，但 README 里没有教程，下载了也没有界面（设置点不开、Dock 多出两个空按钮、块菜单里也没多出什么）

    1 回复
  • muxue •
    付费者

    想法是好的，但是想纯本地运行就是有点异想天开了。

    思源现在估计很难入局做这种 AI 类的东西，太耗精力了，再加上 openai 的 api key 的价格也不便宜，我觉得在思源笔记的笔记功能能独当一面之前都不要为了 ai 去做过多投入。

    1 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    这种「AI」其实就是搜索算法，印象中很久以前就有了，用不上大语言模型那么高端的东西。

    刚才上 GitHub 也搜到了一些相关的项目，但我对搜索这方面不了解，所以也不好说。

  • xnyshu • • 1 赞同
    支持者

    这个功能颠覆了双链。更灵活，不需要费时添加链接。

    2 回复
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    换个角度看也可以更方便建立双向链接

  • zxhd86 • • 1 • 1 评论
    订阅者 先知

    功能很多，所以文档天然难产，毕竟作者是写给自己用的，他不需要文档就知道怎么用，在写代码花了很大功夫的情况下对于写文档就提不起热情了……

    两个 dock，一个是 ai 对话，能根据你投喂给 ai 的块进行回答，另一个是智能推荐，其实就是语义搜索，会在你写文档的时候自动浮现相似的块。

    但是，需要提前说明的是，在本地运行这个模型，对性能的消耗不小。

    1 回复
    害，写完程序就不想写文档了，这东西真要写文档得写老长了
    leolee •
  • zuoez02 •
    订阅者 付费者 先知

    为了能本地运行，你投入的钱都得几万块……

    1 回复
  • leolee •
    订阅者 捐赠者 恶龙

    不用啦，用来做 embedding 的模型，不需要推理的那么大，量化以后百来兆的模型中文嵌入效果其实就不错了

    1 回复
  • wumaojj •
    付费者

    颠覆不敢说，但多一个震撼性的自动助理，是很好的。

    就像现在的 AI 审片一样，可以给医生 N 多建议。

    但说，拿掉医生？

    当然，AI 的进化也可能很快打脸。

  • leolee •
    订阅者 捐赠者 恶龙

    调成 openAI 或者 索引占用核心改为 1，有时间得加一下星火和百度的嵌入接口

  • leolee • • 2 赞同
    订阅者 捐赠者 恶龙

    image.png

  • leolee •
    订阅者 捐赠者 恶龙

    image.pngimage.png

  • leolee •
    订阅者 捐赠者 恶龙

    类似这样？

    1 回复
  • leolee •
    订阅者 捐赠者 恶龙

    image.png

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    感觉相当不错

  • xnyshu •
    支持者

    大神写篇教程。

  • leolee • • 1 赞同 • 1 评论
    订阅者 捐赠者 恶龙

    虽然我也顶了，不过我要先提醒一下哈，就我目前开发的经验来看，这个功能会面临几个问题：

    如果嵌入使用本地模型的话，首先即使压缩模型的大小，中文可用的 sota 模型 text-vec-chinese 也至少是百来兆的，使用 cpu 嵌入性能占用不低，使用 gpu 的话暂时我还没有找到比较好整合进思源的库（我目前用的是 transformers.js）

    然后如果使用远程的接口的话，要生成嵌入向量就需要把笔记内容发送给服务商的接口（思源小助手的嵌入选项只有本地模型和 open AI 也有这个原因），这里有可能有隐私问题。

    再就是向量的最近邻计算，我用 js 来做的话单纯的计算倒不是很慢，几十万个块也能快速出结果，但是这样做的代价是把全部向量加载进了内存，如果不这样做的化还得找一个合适的向量数据库。

    最后是向量的存储问题，如果检索粒度到单个内容块的话，尤其是对于习惯使用短文本列表的用户，特征向量文件的大小可能比笔记本身还要大很多，这也是一个问题。

    1 回复
    做进软件本体肯定就要找一下合适的向量数据库了，我这种绿皮搞法肯定是不行的
    leolee •
  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    我知道这个功能非常难做好，但还是想顶帖看看有没有大佬感兴趣开发trollface

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    顶顶贴，有人开发咩 👀

  • JeffreyChen •
    付费者 支持者 捐赠者 作者

    相关： 有没有可能用本地部署的 AI 取代双链、标签、文档树、模糊搜索之类的功能吗？

  • Reader • • 1 赞同
    付费者 支持者 捐赠者

    这个功能很好，但是我觉得会非常难做好。不谈技术方面的问题，光逻辑层面就有一个大难题。其实视频开头也点出了这个问题了，即每个页面聚焦一个主题，搜索时以页面为基准。

    但是思源是支持 Daily Note 笔记法的，所以在一个日记文档页面中可能会有 N 个不同的主题。而在系统文章中，则是一个页面一个主题了。

    于是问题来了，语义搜索，究竟以什么粒度为基准？

    如果以文档页面为基准，那会不会搜出来日记的杂讯？比如我搜一个 iPhone 的价格变化，那么有没有可能会搜出来，在一篇日记当中即写了 iPhone 性能提升，也写了新能源汽车价格变化，这样的一篇日记文档？

    如果以块为基准，那么怎么界定主题的范围？比如我有一篇探讨历年 iPhone 的价格变化的文章，但是 iPhone 和价格这两个关键词，写在了不同的两个块中，那么能搜到吗？

    当然，这只是我这个技术小白的一个疑惑，也许业内已经解决了但是我不知道，说错了还望勿怪huaji

    PS：这其实也是所有支持 Daily Note 笔记法的笔记软件难以解决的问题。搜索其实是以主题为基准的，传统笔记一篇文档就是一个主题，所以搜索相对来说好做。DN 流笔记，日常琐碎用块粒度记录，系统文章又用文档粒度记录，一个搜索方式难以兼容两种不同的书写粒度，所以搜索只有一半的功能。

    1 操作
    Reader 在 2023-12-12 11:39:20 更新了该回帖
请输入回帖内容 ...
JeffreyChen
约等于 SiYuan 的客服、测试，感谢你到爱发电赞赏我的努力：https://afdian.net/a/JeffreyChen
回帖
3472
 帖子
110
 积分
328

近期热议

推荐标签 标签

  • abitmean

    有点意思就行了

    • 29 关注
  • Ubuntu

    Ubuntu（友帮拓、优般图、乌班图）是一个以桌面应用为主的 Linux 操作系统，其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观，类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    123 引用 • 168 回帖
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议，它实现了浏览器与服务器之间的全双工通信（full-duplex）。

    48 引用 • 206 回帖 • 383 关注
  • IPFS

    IPFS（InterPlanetary File System，星际文件系统）是永久的、去中心化保存和共享文件的方法，这是一种内容可寻址、版本化、点对点超媒体的分布式协议。请浏览 IPFS 入门笔记了解更多细节。

    20 引用 • 245 回帖 • 234 关注
  • Spark

    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 拥有 Hadoop MapReduce 所具有的优点；但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中，从而不再需要读写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。

    74 引用 • 46 回帖 • 560 关注
  • SMTP

    SMTP（Simple Mail Transfer Protocol）即简单邮件传输协议，它是一组用于由源地址到目的地址传送邮件的规则，由它来控制信件的中转方式。SMTP 协议属于 TCP/IP 协议簇，它帮助每台计算机在发送或中转信件时找到下一个目的地。

    4 引用 • 18 回帖 • 604 关注
  • C

    C 语言是一门通用计算机编程语言，应用广泛。C 语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。

    83 引用 • 165 回帖 • 13 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言，是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3169 引用 • 8208 回帖
  • Oracle

    Oracle（甲骨文）公司，全称甲骨文股份有限公司（甲骨文软件系统有限公司），是全球最大的企业级软件公司，总部位于美国加利福尼亚州的红木滩。1989 年正式进入中国市场。2013 年，甲骨文已超越 IBM，成为继 Microsoft 后全球第二大软件公司。

    103 引用 • 126 回帖 • 442 关注
  • 生活

    生活是指人类生存过程中的各项活动的总和，范畴较广，一般指为幸福的意义而存在。生活实际上是对人生的一种诠释。生活包括人类在社会中与自己息息相关的日常活动和心理影射。

    229 引用 • 1450 回帖
  • Unity

    Unity 是由 Unity Technologies 开发的一个让开发者可以轻松创建诸如 2D、3D 多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。

    25 引用 • 7 回帖 • 233 关注
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    6888 引用 • 31055 回帖 • 230 关注
  • BAE

    百度应用引擎（Baidu App Engine）提供了 PHP、Java、Python 的执行环境，以及云存储、消息服务、云数据库等全面的云服务。它可以让开发者实现自动地部署和管理应用，并且提供动态扩容和负载均衡的运行环境，让开发者不用考虑高成本的运维工作，只需专注于业务逻辑，大大降低了开发者学习和迁移的成本。

    19 引用 • 75 回帖 • 618 关注
  • 强迫症

    强迫症（OCD）属于焦虑障碍的一种类型，是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病，其特点为有意识的强迫和反强迫并存，一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖 • 1 关注
  • 自由行
    • 2 关注
  • 以太坊

    以太坊（Ethereum）并不是一个机构，而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity，使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物：投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖
  • danl
    • 89 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    332 引用 • 619 回帖
  • Firefox

    Mozilla Firefox 中文俗称“火狐”（正式缩写为 Fx 或 fx，非正式缩写为 FF），是一个开源的网页浏览器，使用 Gecko 排版引擎，支持多种操作系统，如 Windows、OSX 及 Linux 等。

    7 引用 • 30 回帖 • 446 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 31 关注
  • JVM

    JVM（Java Virtual Machine）Java 虚拟机是一个微型操作系统，有自己的硬件构架体系，还有相应的指令系统。能够识别 Java 独特的 .class 文件（字节码），能够将这些文件中的信息读取出来，使得 Java 程序只需要生成 Java 虚拟机上的字节码后就能在不同操作系统平台上进行运行。

    180 引用 • 120 回帖
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库，专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 53 关注
  • Sillot

    Insights（注意当前设置 master 为默认分支）

    汐洛彖夲肜矩阵（Sillot T☳Converbenk Matrix），致力于服务智慧新彖乄，具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架（Sillot-Gibbet）基于自思源笔记（siyuan-note），前身是思源笔记汐洛版（更早是思源笔记汐洛分支），是智慧新录乄终端（多端融合，移动端优先）。

    主仓库地址：Hi-Windom/Sillot

    安卓端仓库：Hi-Windom/Sillot-android

    注意事项：

    1. ⚠️ 汐洛仍在早期开发阶段，尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计，使用前请了解风险
    28 引用 • 25 回帖 • 56 关注
  • Jenkins

    Jenkins 是一套开源的持续集成工具。它提供了非常丰富的插件，让构建、部署、自动化集成项目变得简单易用。

    51 引用 • 37 回帖 • 3 关注
  • Laravel

    Laravel 是一套简洁、优雅的 PHP Web 开发框架。它采用 MVC 设计，是一款崇尚开发效率的全栈框架。

    19 引用 • 23 回帖 • 699 关注
  • 创业

    你比 99% 的人都优秀么？

    83 引用 • 1398 回帖

最新标签