多端笔记同步丢失数据

本贴最后更新于 344 天前,其中的信息可能已经物是人非

多端笔记同步丢失数据,我是两个 pc 端,加一个移动端。使用的是阿里的 S3 服务

1。 发现一个 pc 端的笔记内容,没有同步到另一个 pc 端。

2。 移动端往 S3 上同步时好时坏。报错:RequestError: send request failed caused by: Put "": read t read: software caused connection abort (Provider: S3)

或者是我使用的问题?如何才能避免同步数据丢失?

希望进一步改善同步的稳定行吧

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    22339 引用 • 89388 回帖

相关帖子

优质回帖
  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • 今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • pakeh2866

    七牛没出现过,建议上传日志排查原因

  • 有问题最关键的还是要上截图和日志,单纯文字全靠猜啊?

    1. 阿里的 S3 是什么节点,香港还是大陆?香港的网络问题很大,这也很重要。
    2. 多端同步是什么模式?完全自动还是半自动还是手动,这个很重要,后两个忘了同步那肯定就是冲突。
    3. 这个报错大部分是网络问题,可以检查你的 S3 配置,比如最后一条是不是改成 path 好点?当时用的时候有没有开梯子导致网络问题?
    1 回复
  • ethanyang

    1。,我使用的是香港的,不能排除 s3 问题。不过就算是 S3 有问题,应该是网络层的问题,不应该影响应用。
    2。丢失的那个文本,是自动同步的。那个文档移动端编写过(同步报错),A 电脑上后来打开编写(昨天 A 电脑上应该同步成功了),今天发下在 B 电脑上没了。

    然后,刚才 B 电脑上同步了,移动端的文档变成 B 电脑的版本,A 电脑上的也变成 B 电脑的版本。

    好在,在 A 电脑上,把文件找回来了。

    如果移动端、A 上面有过一次同步成功,应该云端就有。不过也说不通,不管哪段有个文档同步失败,再次同步不应该全盘覆盖啊。

    siyuan 的同步逻辑是不是太粗暴了,文件是否最新,不应该是文件级别颗粒度吗?不应该和哪个终端有关系啊

    1 回复
  • ethanyang

    好像文档的编辑历史记录是在本地的

    简单点,所有文档的编辑记录,全部放云端

    这样:
    1。 直接按编辑上传的新旧,判断文件是否最新

    2。 在其他电脑上编辑的历史记录,也能在其他终端上恢复

    3。 编辑的历史记录也可以在云端了。编辑的体验就上升了。

  • 88250

    请上传所有参与同步的设备日志,并发一下丢失的 ID 或者大致时间,谢谢。

    1 回复
  • 关于同步逻辑,建议看帮助文档的数据同步文档,了解后就能知道意思了。

  • magicalmuggle

    把日志发出来看看吧

  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

    1 回复
  • ethanyang 1 评论

    今天又一次数据没有同步过来

    是移动端编辑了,PCA 早上同步了,晚上 PCB 上的文件没有同步过来。

    有问题的文件是 daily note 日志,我发现移动端的今天自动创建的 daily note 文档 ID 和 PC B 的 daily note 文档 ID 不一样。

    好奇怪。systemlog1.zip

    今天的发生时间发生在 20:45 左右。
    ethanyang
  • ethanyang

    发生在 20:45 左右

    1 回复
  • pakeh2866

    我也是半自动不错。全自动同步频率太高了。

    其次,手机端只以只读模式打开,非必要不改。

    随手记用 flomo

  • 88250

    这份日志中 20:42:41、20:44:46 和 20:47:20 的三次同步都没有云端变更。

    是不是移动端没有同步完成就关闭 APP 了? 需要多端的日志才能确定具体问题,只有一个端的日志看不出问题哦。

    2 回复
  • ethanyang

    我的 PC A 上是成功同步的,可以看到手机上的内容。

    今天早上验证过的

    1 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。都是 2023-12-15

  • 88250

    那可能是 PC B 上没有同步成功。

    1 回复
  • ethanyang

    systemlog.zip

    PC A 的日志

    1 回复
  • ethanyang

    为啥没同步成功,就算是文件不相同,也应该有两个文件

    1 回复
  • 88250

    还需要移动端的日志,谢谢。

    另外,请把 ID 发一下,不然不好定位。

  • 88250

    从已有的两份 PC 日志上看没有发现相关同步报错,也没有发现同步删除文档的日志记录,这两个端快照的文件数量也是一致的,都是 5789 个文件。

    之前你不是说有两个 2023-12-15 的文档吗?只是 ID 不同,但是文件是两个,所以目前你遇到的问题到底是文档没有同步还是产生了重复日记文档?

    1 回复
  • ethanyang 2 评论

    之前说过了

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。名字都是 2023-12-15

    没有两个

    1 回复
    pc b 文件 id:20231215203753-nhtnjfb
    ethanyang
    移动端 id 20231215073632-w785jvd
    ethanyang
  • 88250

    你的意思是现在多个设备上都同步过还是不一致吗?上传一下移动端的日志还有这两个 ID 吧,不然排查不了问题。

    2 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、同文件名。但文件 ID 不一样,内容一个有,一个无。都是 2023-12-15

  • ethanyang

    文件名一个,三个端上两个 ID。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    PC A 和移动端一样,可以相互同步。PC B 有同名文件。内容不一样

    我也真是服了

  • ethanyang

    今天早上的 20231216 的文件一样现象。

    还是不一样

    我看今日笔记插件甚至都提供了一个功能“先同步再出创建文档”,说明这个问题不是个例。大家都会碰到

    image.png

  • 88250 2 评论

    建议先关闭插件看下,不确定是不是插件特有的逻辑。

    1 回复
    我理解不会吧, 今日笔记做插件干的事情就是一打开 siyuan 就创建个文档。
    ethanyang
    文档内容同步是思源来同步的
    ethanyang
  • ethanyang

    systemlog11.zip

    移动端的日志

    1 回复
  • mozhu 1 赞同 1 评论

    今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

    1 回复
    更像是同步逻辑的问题
    ethanyang
  • pakeh2866

    确实,今日插件我也遇到过笔记重复的这个情况……后来就只用原生的 daily note

  • 应该是插件的问题了,这个是老问题了。

    我记得插件应该会在第一次同步完成的时候检查一遍冲突然后弹出警告框,难道之前没有触发吗。

    要不关了自动打开功能、或者把插件卸了吧。这个问题我试了很多方法,应该是没法根治了。

  • 88250

    排除一下插件的影响吧。

    1 回复
  • ethanyang

    17 日,现象完全一样

    在移动端创建的“今日笔记”文件,没有同步到 PC B 上。

    1 回复
  • ethanyang

    如果是插件问题,为啥会在 PC A 上是好的?

    无论是不是插件的问题,最终都是有问题的。期望得到解决

    而且通过大家的评论来看,应该是个老问题了,不是个例。是不是应该重视起来

    1 回复
  • 88250

    发一下多端的日志还有 ID 吧,你不发 ID 很难排查,谢谢。

    1 回复
  • ethanyang 2 评论

    很早就发了。。。

    pc b 文件 id:20231215203753-nhtnjfb

    三端的日志都发了。发了 3 个 log,分别对应三端

    1 回复
    移动端 id 20231215073632-w785jvd
    ethanyang
    移动端和 PC A 文件 ID 相同
    ethanyang
  • ethanyang

    另外发现另外一个问题:

    今日笔记 无法在移动端卸载

  • 88250

    抱歉,你没回复我所以看漏了,稍后我分析下再给你回复。

    1 回复
  • ethanyang 1 评论

    好像好了,重新安装了一下,配置了一下。就可以了。

    可以不用看了。

    1 回复
    不过,今日笔记移动端确实好像无法关闭。
    ethanyang
  • 88250

    你指的是什么好了?

  • 88250

    你之前上传的日志分析如下:

    从 B 设备上的日志可以看出,在 15 号 20:38:01 的快照中出现了 20231215203753-nhtnjfb 文件,这个文件已经被正确同步到云端,文件数量由 5788 变为了 5789,快照 ID d1fd58b15d45f24c0bdd054cdcb956e3154a1600

    image.png

    这个设备上接下来的几次同步并没有变更文件,所以快照 ID 没变,直到退出安装新版本:

    image.png

    但是,在移动端 20:41:16 的日志可以看出下载的快照 cefc1591d904e28624559b32c11d86772e629588 并不是最新快照(最新快照是上面 B 设备上传的快照 d1fd58b15d45f24c0bdd054cdcb956e3154a1600):

    image.png

    这个快照是由 A 设备在 15 号早上 10:16:32 上传的:

    image.png

    也就是说移动端下载到了旧的快照,所以导致接下来的同步不符合预期。

    我建议你排查一下云端存储 S3 的配置,比如是否开启了 CDN 或者缓存之类的配置,如果开启了就关闭掉,否则会导致无法正确同步的问题

  • 88250

    你先确认下是不是云端存储 S3 上开了 CDN 吧,如果没开的话就是这家 S3 服务提供商的问题,建议发工单咨询一下,如果无法解决这个问题,建议换成其他 S3 存储服务。

    数据同步是重中之重,但是这不只是代码问题,还和配置、S3 服务质量相关,所以不是我们不重视,而是有的情况不是我们能解决的,希望你能理解,谢谢。

请输入回帖内容 ...

推荐标签 标签

  • jsoup

    jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

    6 引用 • 1 回帖 • 477 关注
  • Electron

    Electron 基于 Chromium 和 Node.js,让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目,兼容 Mac、Windows 和 Linux,它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖 • 1 关注
  • 分享

    有什么新发现就分享给大家吧!

    248 引用 • 1792 回帖
  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。

    110 引用 • 54 回帖
  • 安装

    你若安好,便是晴天。

    132 引用 • 1184 回帖
  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    943 引用 • 943 回帖
  • 知乎

    知乎是网络问答社区,连接各行各业的用户。用户分享着彼此的知识、经验和见解,为中文互联网源源不断地提供多种多样的信息。

    10 引用 • 66 回帖
  • RabbitMQ

    RabbitMQ 是一个开源的 AMQP 实现,服务器端用 Erlang 语言编写,支持多种语言客户端,如:Python、Ruby、.NET、Java、C、PHP、ActionScript 等。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。

    49 引用 • 60 回帖 • 362 关注
  • LaTeX

    LaTeX(音译“拉泰赫”)是一种基于 ΤΕΧ 的排版系统,由美国计算机学家莱斯利·兰伯特(Leslie Lamport)在 20 世纪 80 年代初期开发,利用这种格式,即使使用者没有排版和程序设计的知识也可以充分发挥由 TeX 所提供的强大功能,能在几天,甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式,这一点表现得尤为突出。因此它非常适用于生成高印刷质量的科技和数学类文档。

    12 引用 • 54 回帖 • 65 关注
  • 工具

    子曰:“工欲善其事,必先利其器。”

    286 引用 • 729 回帖
  • 阿里云

    阿里云是阿里巴巴集团旗下公司,是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务,以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    89 引用 • 345 回帖
  • 倾城之链
    23 引用 • 66 回帖 • 136 关注
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 51 关注
  • Caddy

    Caddy 是一款默认自动启用 HTTPS 的 HTTP/2 Web 服务器。

    12 引用 • 54 回帖 • 165 关注
  • Vue.js

    Vue.js(读音 /vju ː/,类似于 view)是一个构建数据驱动的 Web 界面库。Vue.js 的目标是通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件。

    266 引用 • 665 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 19 关注
  • 服务器

    服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。

    125 引用 • 588 回帖
  • Angular

    AngularAngularJS 的新版本。

    26 引用 • 66 回帖 • 537 关注
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发,并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例: https://wide.b3log.org

    30 引用 • 218 回帖 • 628 关注
  • ActiveMQ

    ActiveMQ 是 Apache 旗下的一款开源消息总线系统,它完整实现了 JMS 规范,是一个企业级的消息中间件。

    19 引用 • 13 回帖 • 671 关注
  • etcd

    etcd 是一个分布式、高可用的 key-value 数据存储,专门用于在分布式系统中保存关键数据。

    5 引用 • 26 回帖 • 528 关注
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    47 引用 • 25 回帖
  • Sillot

    Insights(注意当前设置 master 为默认分支)

    汐洛彖夲肜矩阵(Sillot T☳Converbenk Matrix),致力于服务智慧新彖乄,具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架(Sillot-Gibbet)基于自思源笔记(siyuan-note),前身是思源笔记汐洛版(更早是思源笔记汐洛分支),是智慧新录乄终端(多端融合,移动端优先)。

    主仓库地址:Hi-Windom/Sillot

    文档地址:sillot.db.sc.cn

    注意事项:

    1. ⚠️ 汐洛仍在早期开发阶段,尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计,使用前请了解风险
    3. ⚠️ 汐洛绞架基于思源笔记,开发者尽最大努力与思源笔记保持兼容,但无法实现 100% 兼容
    29 引用 • 25 回帖 • 85 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统,最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统,最初是设计给 iPhone 使用的,后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样,属于类 Unix 的商业操作系统。

    85 引用 • 139 回帖 • 1 关注
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。

    75 引用 • 258 回帖 • 617 关注
  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    52 引用 • 228 回帖
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    86 引用 • 122 回帖 • 625 关注