v2.10.4 Windows 版每次 S3 同步都是全量同步,浪费大量流量

本贴最后更新于 437 天前,其中的信息可能已经事过境迁

如题所述,最新 windows 版本 2.10.4,手动或自动同步时都会上传整个 repo(Object?),同步效率十分低,

下图做了两次同步实验:

进行一次备份(其实之前已经备份过了,没有做任何修改,这里依然上传了全部仓库分块)时间:14:40

image.png

image.png

image.png

Object 总共的数量(131):

image.png

Object 被更新的数量(通过添加筛选条件查询):(102)

image.png

也就是说,在 14:40 分进行的更新的时候,在文档没有任何修改的情况下,大量 Object 被更新,因为我的整个 repo 的大小只有 12.7m,一次更新就超过了 12.5m,这十分不合理


再次备份测试时间:14:52,上次备份之后依然没有做任何修改

image.png

image.png

image.png

依然有大量上传

查看 oss 的结果如下:

整个 objects,数量:131,大小:12.535

image.png

查看在 14:50 分之后更新的 object(102):

image.png

又一次几乎更新了全部 Objects


结论:不知道现在的同步策略就是这样,还是 bug 导致的。如果同步策略就是这样,显然这样的同步策略是不合理的。这样会造成大量的流量的浪费。

另外我还有一个问题,siyuan 的同步策略是同步整个 repo,然而 repo 是累增的,就算删除了笔记或者附件也不会同步删除 oss 上的内容,是否可以有像 win 上那样,清空无效引用的功能,或者有特定标识能够标识出无效引用和无效对象之类的,能用户可以手动前往 oss 清理。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    22340 引用 • 89395 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • imyq

    @88250 @Vanessa 麻烦看看这个问题,感觉是一个比较严重的问题

  • sqalei

    图片.png

    这里可以删除未引用的资源文件

    1 回复
  • imyq

    这里删除的是本地的,服务器端的删不了

  • 先备份好笔记,然后试试:

    1. 把 repo 删掉再重新上传笔记快照
    2. 修改部分笔记,再同步
    3. 看看是否还是全量同步
  • 请发一下日志。

    1 回复
  • 楼主的问题应该是个例,我的 S3 同步未出现过

    发个日志,让 D 大好好查下吧

  • imyq

    重新安装,重新导入 data,更新到最新版本之后正常了,还有一个问题想问问大佬,s3 上的 repo 没有办法清理吗?

    1 回复
  • 清理不了,只能整个删除。

    2 回复
  • imyq

    同步又出问题了,添加了一个一百多兆的 pdf,同步提示 SignatureDoesNotMatch: Not all the signed headers are found in the request. status code: 403,

    1 回复
  • imyq

    切换成手动同步,上传文件到云端也是一样的情况,块上传一部分之后就会报错

  • 和大小没关系,403 一般是没用权限,检查一下 Access/Seceret key 吧。

    2 回复
  • imyq

    key 肯定是正常的,具体情况是同步到一半才报错,oss 也有内容上传,没有添加 pdf 的时候也是同步正常

    1 回复
  • imyq

    oss 清理了 repo,然后同步,客户端显示同步失败,oss 这边有三十多兆已经同步过来了image.png

  • 目前发现阿里云的容易超时,网不应该才是。。

    1 回复
  • 这就很奇怪了,同步不区分文件类型和大小的,因为同步的都是分块加密数据,换个网络试试看,另外阿里云 OSS 不要用香港节点。

    1 回复
  • imyq

    阿里云成都

  • imyq

    用的是阿里云成都,太奇怪了,刚刚把 endpoint 改成了 https,成功了

请输入回帖内容 ...

推荐标签 标签

  • Flutter

    Flutter 是谷歌的移动 UI 框架,可以快速在 iOS 和 Android 上构建高质量的原生用户界面。 Flutter 可以与现有的代码一起工作,它正在被越来越多的开发者和组织使用,并且 Flutter 是完全免费、开源的。

    39 引用 • 92 回帖 • 1 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案,后端采用 Go 编写,采用 MIT 许可证。

    4 引用 • 16 回帖 • 5 关注
  • CSS

    CSS(Cascading Style Sheet)“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    198 引用 • 550 回帖
  • OnlyOffice
    4 引用 • 3 关注
  • 笔记

    好记性不如烂笔头。

    308 引用 • 793 回帖 • 1 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 31 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架,使用 Node.js 编写。

    21 引用 • 140 回帖 • 1 关注
  • jsDelivr

    jsDelivr 是一个开源的 CDN 服务,可为 npm 包、GitHub 仓库提供免费、快速并且可靠的全球 CDN 加速服务。

    5 引用 • 31 回帖 • 58 关注
  • Angular

    AngularAngularJS 的新版本。

    26 引用 • 66 回帖 • 537 关注
  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖 • 2 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    75 引用 • 1737 回帖 • 5 关注
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统,它问世于 1985 年,起初仅仅是 Microsoft-DOS 模拟环境,后续的系统版本由于微软不断的更新升级,不但易用,也慢慢的成为家家户户人们最喜爱的操作系统。

    222 引用 • 473 回帖 • 1 关注
  • BAE

    百度应用引擎(Baidu App Engine)提供了 PHP、Java、Python 的执行环境,以及云存储、消息服务、云数据库等全面的云服务。它可以让开发者实现自动地部署和管理应用,并且提供动态扩容和负载均衡的运行环境,让开发者不用考虑高成本的运维工作,只需专注于业务逻辑,大大降低了开发者学习和迁移的成本。

    19 引用 • 75 回帖 • 642 关注
  • 创造

    你创造的作品可能会帮助到很多人,如果是开源项目的话就更赞了!

    179 引用 • 995 回帖
  • CodeMirror
    1 引用 • 2 回帖 • 129 关注
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis,2010 年这个项目由 Apache 软件基金会迁移到了 google code,并且改名为 MyBatis ,2013 年 11 月再次迁移到了 GitHub。

    170 引用 • 414 回帖 • 387 关注
  • Electron

    Electron 基于 Chromium 和 Node.js,让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目,兼容 Mac、Windows 和 Linux,它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖 • 1 关注
  • Python

    Python 是一种面向对象、直译式电脑编程语言,具有近二十年的发展历史,成熟且稳定。它包含了一组完善而且容易理解的标准库,能够轻松完成很多常见的任务。它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用缩进来定义语句块。

    543 引用 • 672 回帖 • 1 关注
  • Postman

    Postman 是一款简单好用的 HTTP API 调试工具。

    4 引用 • 3 回帖 • 3 关注
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统,主要使用于便携设备。2005 年由 Google 收购注资,并拉拢多家制造商组成开放手机联盟开发改良,逐渐扩展到到平板电脑及其他领域上。

    334 引用 • 323 回帖
  • FreeMarker

    FreeMarker 是一款好用且功能强大的 Java 模版引擎。

    23 引用 • 20 回帖 • 463 关注
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    47 引用 • 25 回帖
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统(DBMS),它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的,并于 1988 年推出了第一个 OS/2 版本。

    21 引用 • 31 回帖
  • 禅道

    禅道是一款国产的开源项目管理软件,她的核心管理思想基于敏捷方法 scrum,内置了产品管理和项目管理,同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能,在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来,完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 114 关注
  • Swagger

    Swagger 是一款非常流行的 API 开发工具,它遵循 OpenAPI Specification(这是一种通用的、和编程语言无关的 API 描述规范)。Swagger 贯穿整个 API 生命周期,如 API 的设计、编写文档、测试和部署。

    26 引用 • 35 回帖 • 1 关注
  • Pipe

    Pipe 是一款小而美的开源博客平台。Pipe 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    132 引用 • 1114 回帖 • 124 关注
  • Maven

    Maven 是基于项目对象模型(POM)、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    186 引用 • 318 回帖 • 302 关注