v3.0.9 的读写性能真有点慢

本贴最后更新于 253 天前,其中的信息可能已经时过境迁

3.0.9 的读写性能真有点慢 , 使用的是 五彩划线的同步功能, 3.0.5-3.0.7 的时候速度还比较快的.

貌似自从 有位提出一次读 2g 的 io, 之后发的版本开始就开始变慢了.

现在同步一个页面 要 10s+ , 前几天是 1 秒同步几十个页面

I 2024/04/12 22:37:35 queue.go:157: database op tx [33641ms]
W 2024/04/12 22:37:35 transaction.go:138: op tx [28849ms]
I 2024/04/12 22:37:55 queue.go:157: database op tx [17741ms]
W 2024/04/12 22:37:55 transaction.go:138: op tx [12993ms]
I 2024/04/12 22:38:04 queue.go:157: database op tx [7545ms]
I 2024/04/12 22:38:16 queue.go:157: database op tx [11412ms]
I 2024/04/12 22:38:49 queue.go:157: database op tx [26288ms]
I 2024/04/12 22:39:22 queue.go:157: database op tx [17119ms]
W 2024/04/12 22:39:22 transaction.go:138: op tx [12367ms]
I 2024/04/12 22:39:36 queue.go:157: database op tx [12891ms]
I 2024/04/12 22:39:46 queue.go:157: database op tx [7525ms]
W 2024/04/12 22:39:46 transaction.go:138: op tx [3597ms]
I 2024/04/12 22:40:01 queue.go:157: database op tx [14409ms]
I 2024/04/12 22:40:22 queue.go:157: database op tx [14181ms]
I 2024/04/12 22:40:36 queue.go:157: database op tx [13289ms]
I 2024/04/12 22:41:04 queue.go:157: database op tx [19747ms]
W 2024/04/12 22:41:04 transaction.go:138: op tx [15026ms]
I 2024/04/12 22:41:31 queue.go:157: database op tx [25766ms]
I 2024/04/12 22:42:06 queue.go:157: database op tx [27119ms]
W 2024/04/12 22:42:06 transaction.go:138: op tx [27041ms]
I 2024/04/12 22:42:18 queue.go:157: database op tx [9784ms]
W 2024/04/12 22:42:18 transaction.go:138: op tx [6942ms]
I 2024/04/12 22:42:42 queue.go:157: database op tx [21918ms]
I 2024/04/12 22:43:04 queue.go:157: database op tx [10714ms]
I 2024/04/12 22:43:31 queue.go:157: database op tx [24776ms]
I 2024/04/12 22:44:18 queue.go:157: database op tx [27286ms]
W 2024/04/12 22:44:18 transaction.go:138: op tx [23360ms]
  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    23014 引用 • 92568 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 88250 1 评论

    这个问题我们已经注意到了,并在 dev 版上做了改进,方便的话请到 GitHub 上下载最新 dev 版帮忙测试,谢谢。

    我在用 dev 版本,76 个书籍的书摘导入要花 5 分钟左右,以前记得 3.0 初的时候挺快
    5kyfkr
  • 不知道微信读书插件导入慢是不是也有这个影响,记得早几个版本导入微信读书的书摘挺快的

    1 回复
  • 88250 2 评论

    得看看用的是哪个接口才方便定位问题哦。

    在哪看,我可以找找
    5kyfkr
    @5kyfkr 我没用过这个插件……打开开发者工具看下 Network 请求。
    88250
  • @88250 翻了下是不是这些:

        async function Oi() {
            return Ze("/api/notebook/lsNotebooks", "")
        }
        async function lr(t, e, n) {
            return Ze("/api/filetree/createDocWithMd", {
                notebook: t,
                path: e,
                markdown: n
            })
        }
        async function bn(t, e, n) {
            return Ze("/api/filetree/moveDocs", {
                fromPaths: t,
                toNotebook: e,
                toPath: n
            })
        }
        async function Pi(t, e, n) {
            return Ze("/api/block/updateBlock", {
                dataType: t,
                data: e,
                id: n
            })
        }
        async function cr(t, e) {
            return Ze("/api/attr/setBlockAttrs", {
                id: t,
                attrs: e
            })
        }
        async function Ri(t) {
            return Ze("/api/attr/getBlockAttrs", {
                id: t
            })
        }
        async function Ft(t) {
            return Ze("/api/query/sql", {
                stmt: t
            })
        }
        async function Li(t) {
            let e = {
                path: t
            }
              , n = "/api/file/getFile";
            try {
                return await _e.fetchSyncPost(n, e)
            } catch {
                return null
            }
        }
        const bt = "https://i.weread.qq.com";
        async function $i() {
            let e = (await Li("data/storage/petal/siyuan-plugin-weread/config")).Cookie;
            const n = _t(e, "wr_skey")
              , r = _t(e, "wr_vid");
            return {
                token: n,
                vid: r,
                cookie: e
            }
        }
        async function kt(t) {
            let e = "/api/network/forwardProxy"
              , n = {
                url: t,
                method: "GET",
                timeout: 5e3,
                contentType: "application/json",
                headers: [{
                    Cookie: (await $i()).cookie
                }],
                payload: {}
            }
              , r = await _e.fetchSyncPost(e, n);
            return JSON.parse(r.data.body)
        }
    
    1 回复
  • 88250

    目前的具体表现是不是数据索引任务比较慢?

    1 回复
  • 看了下似乎是腾讯服务器请求速度慢,那估计不关事了,但是印象以前是 1 分钟内就马上同步完了

    image.png

    1 回复
  • 88250

    网络问题就不好说了……

    不过刚刚看代码发现可以优化创建文档时的数据索引性能 Issue #11005 · siyuan-note/siyuan

    1 回复
  • 好的,下版试下,RSS 订阅了思源的 release 页面trollface

请输入回帖内容 ...

推荐标签 标签

  • 知乎

    知乎是网络问答社区,连接各行各业的用户。用户分享着彼此的知识、经验和见解,为中文互联网源源不断地提供多种多样的信息。

    10 引用 • 66 回帖
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    728 引用 • 1273 回帖 • 1 关注
  • 外包

    有空闲时间是接外包好呢还是学习好呢?

    26 引用 • 232 回帖
  • Bootstrap

    Bootstrap 是 Twitter 推出的一个用于前端开发的开源工具包。它由 Twitter 的设计师 Mark Otto 和 Jacob Thornton 合作开发,是一个 CSS / HTML 框架。

    18 引用 • 33 回帖 • 667 关注
  • IBM

    IBM(国际商业机器公司)或万国商业机器公司,简称 IBM(International Business Machines Corporation),总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国,是全球最大的信息技术和业务解决方案公司,拥有全球雇员 30 多万人,业务遍及 160 多个国家和地区。

    17 引用 • 53 回帖 • 140 关注
  • 智能合约

    智能合约(Smart contract)是一种旨在以信息化方式传播、验证或执行合同的计算机协议。智能合约允许在没有第三方的情况下进行可信交易,这些交易可追踪且不可逆转。智能合约概念于 1994 年由 Nick Szabo 首次提出。

    1 引用 • 11 回帖 • 2 关注
  • Electron

    Electron 基于 Chromium 和 Node.js,让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目,兼容 Mac、Windows 和 Linux,它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖 • 1 关注
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言,由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码,也可以编译成 JavaScript,方便在没有 JVM 的设备上运行。在 Google I/O 2017 中,Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 63 关注
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    209 引用 • 358 回帖
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    142 引用 • 442 回帖 • 1 关注
  • 工具

    子曰:“工欲善其事,必先利其器。”

    288 引用 • 734 回帖 • 2 关注
  • 大疆创新

    深圳市大疆创新科技有限公司(DJI-Innovations,简称 DJI),成立于 2006 年,是全球领先的无人飞行器控制系统及无人机解决方案的研发和生产商,客户遍布全球 100 多个国家。通过持续的创新,大疆致力于为无人机工业、行业用户以及专业航拍应用提供性能最强、体验最佳的革命性智能飞控产品和解决方案。

    2 引用 • 14 回帖 • 2 关注
  • HTML

    HTML5 是 HTML 下一个的主要修订版本,现在仍处于发展阶段。广义论及 HTML5 时,实际指的是包括 HTML、CSS 和 JavaScript 在内的一套技术组合。

    107 引用 • 295 回帖
  • 导航

    各种网址链接、内容导航。

    42 引用 • 175 回帖
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖 • 1 关注
  • 阿里云

    阿里云是阿里巴巴集团旗下公司,是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务,以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    89 引用 • 345 回帖 • 1 关注
  • GitHub

    GitHub 于 2008 年上线,目前,除了 Git 代码仓库托管及基本的 Web 管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等功能。正因为这些功能所提供的便利,又经过长期的积累,GitHub 的用户活跃度很高,在开源世界里享有深远的声望,并形成了社交化编程文化(Social Coding)。

    210 引用 • 2036 回帖
  • 钉钉

    钉钉,专为中国企业打造的免费沟通协同多端平台, 阿里巴巴出品。

    15 引用 • 67 回帖 • 335 关注
  • Jenkins

    Jenkins 是一套开源的持续集成工具。它提供了非常丰富的插件,让构建、部署、自动化集成项目变得简单易用。

    53 引用 • 37 回帖 • 3 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案,后端采用 Go 编写,采用 MIT 许可证。

    4 引用 • 16 回帖
  • Spark

    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写 HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。

    74 引用 • 46 回帖 • 559 关注
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发,并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例: https://wide.b3log.org

    30 引用 • 218 回帖 • 635 关注
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 172 关注
  • 自由行
    4 关注
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    167 引用 • 1520 回帖
  • gRpc
    11 引用 • 9 回帖 • 69 关注
  • Sym

    Sym 是一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)系统平台。

    下一代的社区系统,为未来而构建

    524 引用 • 4601 回帖 • 700 关注