想跟社区请教一下:思源数据库为什么使用 json 存储数据而不是 sqlite

在目前的插件开发流程中,我个人感知到的 json 存储方案主要缺点至少包括:

  • 操作 API 设计较为复杂,因为是自定义的 json 结构,所以需要是另外定制的一套 API 进行交互,需要对多种数据结构进行兼容
  • 读写 IO 问题:如果数据库体量一大,每次更新局部数据都得整个文件覆写一次,频繁操作容易产生大量磁盘 I/O 与 SSD 损耗。
  • 而且失去了很多 sqlite 提供的功能... 例如:JOIN / GROUP BY / ORDER BY / 索引 / ACID 这些都得手动实现

当然,json 存储方案的优点也是有优点的,这些优点暂时是使用 sqlite 无法或者难以替代的:

  • 数据同步:可以直接使用思源目前的数据同步架构进行同步,不需要更多的修改
  • 数据明文:方便迁移导出什么的

数据明文先按下不表,因为可以在前端界面解析为 csv 导出暂时解决;数据同步这一块,社区也有很多探索和实践,例如 Litestream,rqlite 这些,不过肯定也是需要很大的工作量对目前的同步算法进行修改,但是带来的好处应该是显而易见的;甚至更激进一点,也可以直接 dump 整个数据库,同步 sql 文件,这样的话还能使用更成熟的例如 nocodb 等多维表实现,有成熟的看板,日历,甘特等各种视图;所以我一直不是很明白为什么思源数据库使用 json 存储数据而不是 sqlite 或者其他方案

因为对这个问题困惑已久,搜索了 github 上的所有 issue 似乎也没有提到这么做的原因,所以想和社区请教一下,是不是我有什么点没考虑到?感激不尽

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    28446 引用 • 119789 回帖
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    11155 引用 • 50666 回帖 • 52 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • veee 1

    不懂技术,不过似乎 Bear 熊掌记是基于 sqlite 的?(我之前备份它的数据,好像就是一个 sqlite 文件),苹果的备忘录貌似也是这样,这两个都是基于 iCloud 那套的。

    另外一个很好用的软件 Craft,似乎和思源一样是用 json 存数据的。

  • 其他回帖
  • Mux

    感谢 D 大的回复!确实,主要问题还是出在同步这里,使用 sqlite 的话,同步会很难做,就算是使用现成的方案也需要大量的精力改造,目前来看 json 确实是一个比较好的选择。

    但是 json 确实会比较影响性能,而且目前实现方案相当于是重新基于 json“发明”出一套数据库系统,不得不说实在是非常有魄力,实在是太有技术实力了。

    之前也有研究过思源的代码,想再麻烦请教一下,如果说弱化同步的场景呢?因为社区在多维表这边的探索已经比较成熟,我调研了一下目前的技术方案,nocodb 确实很合适思源目前的场景

    • 开源且协议宽松:允许商业用途,允许修改分发,但是需要将修改版本开源

    • 数据可以存储在本地,支持导出

    • 支持表格,表单,看板,日历等视图

      image.png

    • 支持筛选,分组(多字段分组)

      image.png

    • 字段的类型支持比飞书多维表格还多,而且看源代码也很容易拓展我们自己的字段类型

      image.png

    • 支持模板函数,模板函数支持可视化编辑器

      image.png

    • 支持 js 自动化

      image.png

    • 支持共享协作 & 细粒度的权限设置

      image.png

    • 支持通过 SDK 进行操作

    如果可以使用 nocodb,那么数据库这边的设计就直接一步到位了。考虑到如此巨大的好处,是否可以设想下面的技术方案?

    • 后端:思源本体,数据库分开部署,启动 Nocodb 服务(无状态),提供静态资源等

      • 支持连接到远程数据库实例:用户可以自部署 / 使用官方提供的服务
      • 如果没有自部署的服务,那么可以连接到本地 sqlite 或者 postgres,启动并连接,正常使用本地资源占用大约 100 M 内存以及少量 CPU 资源
      • 关于数据库同步和备份问题:Nocodb 已经完成了 Litestream 的支持,可以将数据库连续备份到 S3,但是好像不支持 webdav,这部分可能需要探索一下,不过肯定是有解的
      • 新增思源 block 字段类型,支持绑定到思源的字段,维护一个表格,记录思源 block_id 和 nocodb 的条目 id 对应关系
    • 思源前端

      • 通过 iframe 加载数据库页面

    D 大觉得这样的方案如何呢,具体实现上是否可行?

    1 回复
  • Mux

    是的,实现起来也很麻烦,用户门槛也很高,会考虑插件实现一下的,感谢 D 大回复

  • 88250 1

    直接使用 SQLite 的话数据库文件会被占用,无法实现数据同步。

    1 回复
  • 查看全部回帖

推荐标签 标签

  • Vim

    Vim 是类 UNIX 系统文本编辑器 Vi 的加强版本,加入了更多特性来帮助编辑源代码。Vim 的部分增强功能包括文件比较(vimdiff)、语法高亮、全面的帮助系统、本地脚本(Vimscript)和便于选择的可视化模式。

    29 引用 • 66 回帖
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖
  • 电影

    这是一个不能说的秘密。

    125 引用 • 610 回帖
  • OAuth

    OAuth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是 oAuth 的授权不会使第三方触及到用户的帐号信息(如用户名与密码),即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权,因此 oAuth 是安全的。oAuth 是 Open Authorization 的简写。

    36 引用 • 103 回帖 • 44 关注
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    15 引用 • 7 回帖
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”,乌云众测平台认证的“安全云”,为移动时代的创业者提供新一代的 CDN 加速服务。

    20 引用 • 37 回帖 • 577 关注
  • Office

    Office 现已更名为 Microsoft 365. Microsoft 365 将高级 Office 应用(如 Word、Excel 和 PowerPoint)与 1 TB 的 OneDrive 云存储空间、高级安全性等结合在一起,可帮助你在任何设备上完成操作。

    6 引用 • 35 回帖
  • 一些有用的避坑指南。

    69 引用 • 93 回帖
  • IDEA

    IDEA 全称 IntelliJ IDEA,是一款 Java 语言开发的集成环境,在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品,这家公司总部位于捷克共和国的首都布拉格,开发人员以严谨著称的东欧程序员为主。

    182 引用 • 400 回帖 • 1 关注
  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1062 引用 • 3456 回帖 • 124 关注
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    110 引用 • 153 回帖
  • Flutter

    Flutter 是谷歌的移动 UI 框架,可以快速在 iOS 和 Android 上构建高质量的原生用户界面。 Flutter 可以与现有的代码一起工作,它正在被越来越多的开发者和组织使用,并且 Flutter 是完全免费、开源的。

    39 引用 • 92 回帖 • 16 关注
  • OpenCV
    15 引用 • 36 回帖 • 1 关注
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 8 关注
  • PHP

    PHP(Hypertext Preprocessor)是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点,主要适用于 Web 开发领域,据说是世界上最好的编程语言。

    167 引用 • 408 回帖 • 494 关注
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    173 引用 • 1559 回帖
  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    91 引用 • 113 回帖
  • 笔记

    好记性不如烂笔头。

    315 引用 • 790 回帖
  • golang

    Go 语言是 Google 推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发 Go,是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。

    502 引用 • 1397 回帖 • 241 关注
  • OneDrive
    2 引用 • 2 关注
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    45 引用 • 44 回帖 • 2 关注
  • Sillot

    Insights(注意当前设置 master 为默认分支)

    汐洛彖夲肜矩阵(Sillot T☳Converbenk Matrix),致力于服务智慧新彖乄,具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架(Sillot-Gibbet)基于自思源笔记(siyuan-note),前身是思源笔记汐洛版(更早是思源笔记汐洛分支),是智慧新录乄终端(多端融合,移动端优先)。

    主仓库地址:Hi-Windom/Sillot

    文档地址:sillot.db.sc.cn

    注意事项:

    1. ⚠️ 汐洛仍在早期开发阶段,尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计,使用前请了解风险
    3. ⚠️ 汐洛绞架基于思源笔记,开发者尽最大努力与思源笔记保持兼容,但无法实现 100% 兼容
    29 引用 • 25 回帖 • 152 关注
  • Spark

    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写 HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。

    74 引用 • 46 回帖 • 563 关注
  • Word
    13 引用 • 41 回帖 • 1 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3206 引用 • 8217 回帖
  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    12 引用 • 5 回帖 • 660 关注
  • 资讯

    资讯是用户因为及时地获得它并利用它而能够在相对短的时间内给自己带来价值的信息,资讯有时效性和地域性。

    56 引用 • 85 回帖 • 1 关注