多端笔记同步丢失数据

本贴最后更新于 608 天前,其中的信息可能已经物是人非

多端笔记同步丢失数据,我是两个 pc 端,加一个移动端。使用的是阿里的 S3 服务

1。 发现一个 pc 端的笔记内容,没有同步到另一个 pc 端。

2。 移动端往 S3 上同步时好时坏。报错:RequestError: send request failed caused by: Put "": read t read: software caused connection abort (Provider: S3)

或者是我使用的问题?如何才能避免同步数据丢失?

希望进一步改善同步的稳定行吧

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    26736 引用 • 111380 回帖 • 2 关注

相关帖子

优质回帖
  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • 今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • pakeh2866 via iPhone

    七牛没出现过,建议上传日志排查原因

  • 有问题最关键的还是要上截图和日志,单纯文字全靠猜啊?

    1. 阿里的 S3 是什么节点,香港还是大陆?香港的网络问题很大,这也很重要。
    2. 多端同步是什么模式?完全自动还是半自动还是手动,这个很重要,后两个忘了同步那肯定就是冲突。
    3. 这个报错大部分是网络问题,可以检查你的 S3 配置,比如最后一条是不是改成 path 好点?当时用的时候有没有开梯子导致网络问题?
    1 回复
  • ethanyang

    1。,我使用的是香港的,不能排除 s3 问题。不过就算是 S3 有问题,应该是网络层的问题,不应该影响应用。
    2。丢失的那个文本,是自动同步的。那个文档移动端编写过(同步报错),A 电脑上后来打开编写(昨天 A 电脑上应该同步成功了),今天发下在 B 电脑上没了。

    然后,刚才 B 电脑上同步了,移动端的文档变成 B 电脑的版本,A 电脑上的也变成 B 电脑的版本。

    好在,在 A 电脑上,把文件找回来了。

    如果移动端、A 上面有过一次同步成功,应该云端就有。不过也说不通,不管哪段有个文档同步失败,再次同步不应该全盘覆盖啊。

    siyuan 的同步逻辑是不是太粗暴了,文件是否最新,不应该是文件级别颗粒度吗?不应该和哪个终端有关系啊

    1 回复
  • ethanyang

    好像文档的编辑历史记录是在本地的

    简单点,所有文档的编辑记录,全部放云端

    这样:
    1。 直接按编辑上传的新旧,判断文件是否最新

    2。 在其他电脑上编辑的历史记录,也能在其他终端上恢复

    3。 编辑的历史记录也可以在云端了。编辑的体验就上升了。

  • 请上传所有参与同步的设备日志,并发一下丢失的 ID 或者大致时间,谢谢。

    1 回复
  • 关于同步逻辑,建议看帮助文档的数据同步文档,了解后就能知道意思了。

  • 把日志发出来看看吧

  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

    1 回复
  • ethanyang 1 评论

    今天又一次数据没有同步过来

    是移动端编辑了,PCA 早上同步了,晚上 PCB 上的文件没有同步过来。

    有问题的文件是 daily note 日志,我发现移动端的今天自动创建的 daily note 文档 ID 和 PC B 的 daily note 文档 ID 不一样。

    好奇怪。systemlog1.zip

    今天的发生时间发生在 20:45 左右。
    ethanyang
  • ethanyang

    发生在 20:45 左右

    1 回复
  • pakeh2866 via iPhone

    我也是半自动不错。全自动同步频率太高了。

    其次,手机端只以只读模式打开,非必要不改。

    随手记用 flomo

  • 这份日志中 20:42:41、20:44:46 和 20:47:20 的三次同步都没有云端变更。

    是不是移动端没有同步完成就关闭 APP 了? 需要多端的日志才能确定具体问题,只有一个端的日志看不出问题哦。

    2 回复
  • ethanyang

    我的 PC A 上是成功同步的,可以看到手机上的内容。

    今天早上验证过的

    1 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。都是 2023-12-15

  • 那可能是 PC B 上没有同步成功。

    1 回复
  • ethanyang

    systemlog.zip

    PC A 的日志

    1 回复
  • ethanyang

    为啥没同步成功,就算是文件不相同,也应该有两个文件

    1 回复
  • 还需要移动端的日志,谢谢。

    另外,请把 ID 发一下,不然不好定位。

  • 从已有的两份 PC 日志上看没有发现相关同步报错,也没有发现同步删除文档的日志记录,这两个端快照的文件数量也是一致的,都是 5789 个文件。

    之前你不是说有两个 2023-12-15 的文档吗?只是 ID 不同,但是文件是两个,所以目前你遇到的问题到底是文档没有同步还是产生了重复日记文档?

    1 回复
  • ethanyang 2 评论

    之前说过了

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。名字都是 2023-12-15

    没有两个

    1 回复
    pc b 文件 id:20231215203753-nhtnjfb
    ethanyang
    移动端 id 20231215073632-w785jvd
    ethanyang
  • 你的意思是现在多个设备上都同步过还是不一致吗?上传一下移动端的日志还有这两个 ID 吧,不然排查不了问题。

    2 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、同文件名。但文件 ID 不一样,内容一个有,一个无。都是 2023-12-15

  • ethanyang

    文件名一个,三个端上两个 ID。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    PC A 和移动端一样,可以相互同步。PC B 有同名文件。内容不一样

    我也真是服了

  • ethanyang

    今天早上的 20231216 的文件一样现象。

    还是不一样

    我看今日笔记插件甚至都提供了一个功能“先同步再出创建文档”,说明这个问题不是个例。大家都会碰到

    image.png

  • 88250 2 评论

    建议先关闭插件看下,不确定是不是插件特有的逻辑。

    1 回复
    我理解不会吧, 今日笔记做插件干的事情就是一打开 siyuan 就创建个文档。
    ethanyang
    文档内容同步是思源来同步的
    ethanyang
  • ethanyang

    systemlog11.zip

    移动端的日志

    1 回复
  • mozhu 1 赞同 1 评论

    今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

    1 回复
    更像是同步逻辑的问题
    ethanyang
  • pakeh2866

    确实,今日插件我也遇到过笔记重复的这个情况……后来就只用原生的 daily note

  • 应该是插件的问题了,这个是老问题了。

    我记得插件应该会在第一次同步完成的时候检查一遍冲突然后弹出警告框,难道之前没有触发吗。

    要不关了自动打开功能、或者把插件卸了吧。这个问题我试了很多方法,应该是没法根治了。

  • 排除一下插件的影响吧。

    1 回复
  • ethanyang

    17 日,现象完全一样

    在移动端创建的“今日笔记”文件,没有同步到 PC B 上。

    1 回复
  • ethanyang

    如果是插件问题,为啥会在 PC A 上是好的?

    无论是不是插件的问题,最终都是有问题的。期望得到解决

    而且通过大家的评论来看,应该是个老问题了,不是个例。是不是应该重视起来

    1 回复
  • 发一下多端的日志还有 ID 吧,你不发 ID 很难排查,谢谢。

    1 回复
  • ethanyang 2 评论

    很早就发了。。。

    pc b 文件 id:20231215203753-nhtnjfb

    三端的日志都发了。发了 3 个 log,分别对应三端

    1 回复
    移动端 id 20231215073632-w785jvd
    ethanyang
    移动端和 PC A 文件 ID 相同
    ethanyang
  • ethanyang

    另外发现另外一个问题:

    今日笔记 无法在移动端卸载

  • 抱歉,你没回复我所以看漏了,稍后我分析下再给你回复。

    1 回复
  • ethanyang 1 评论

    好像好了,重新安装了一下,配置了一下。就可以了。

    可以不用看了。

    1 回复
    不过,今日笔记移动端确实好像无法关闭。
    ethanyang
  • 你指的是什么好了?

  • 你之前上传的日志分析如下:

    从 B 设备上的日志可以看出,在 15 号 20:38:01 的快照中出现了 20231215203753-nhtnjfb 文件,这个文件已经被正确同步到云端,文件数量由 5788 变为了 5789,快照 ID d1fd58b15d45f24c0bdd054cdcb956e3154a1600

    image.png

    这个设备上接下来的几次同步并没有变更文件,所以快照 ID 没变,直到退出安装新版本:

    image.png

    但是,在移动端 20:41:16 的日志可以看出下载的快照 cefc1591d904e28624559b32c11d86772e629588 并不是最新快照(最新快照是上面 B 设备上传的快照 d1fd58b15d45f24c0bdd054cdcb956e3154a1600):

    image.png

    这个快照是由 A 设备在 15 号早上 10:16:32 上传的:

    image.png

    也就是说移动端下载到了旧的快照,所以导致接下来的同步不符合预期。

    我建议你排查一下云端存储 S3 的配置,比如是否开启了 CDN 或者缓存之类的配置,如果开启了就关闭掉,否则会导致无法正确同步的问题

  • 你先确认下是不是云端存储 S3 上开了 CDN 吧,如果没开的话就是这家 S3 服务提供商的问题,建议发工单咨询一下,如果无法解决这个问题,建议换成其他 S3 存储服务。

    数据同步是重中之重,但是这不只是代码问题,还和配置、S3 服务质量相关,所以不是我们不重视,而是有的情况不是我们能解决的,希望你能理解,谢谢。

请输入回帖内容 ...

推荐标签 标签

  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成,还支持通过插件进行扩展。

    10 引用 • 5 回帖 • 2 关注
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 4 关注
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议,它实现了浏览器与服务器之间的全双工通信(full-duplex)。

    48 引用 • 206 回帖 • 280 关注
  • 工具

    子曰:“工欲善其事,必先利其器。”

    302 引用 • 772 回帖
  • MongoDB

    MongoDB(来自于英文单词“Humongous”,中文含义为“庞大”)是一个基于分布式文件存储的数据库,由 C++ 语言编写。旨在为应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 JSON 的 BSON 格式,因此可以存储比较复杂的数据类型。

    91 引用 • 59 回帖
  • LeetCode

    LeetCode(力扣)是一个全球极客挚爱的高质量技术成长平台,想要学习和提升专业能力从这里开始,充足技术干货等你来啃,轻松拿下 Dream Offer!

    209 引用 • 72 回帖
  • Gzip

    gzip (GNU zip)是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件,它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式,或者说一种文件格式。

    9 引用 • 12 回帖 • 183 关注
  • PHP

    PHP(Hypertext Preprocessor)是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点,主要适用于 Web 开发领域,据说是世界上最好的编程语言。

    167 引用 • 408 回帖 • 485 关注
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目,是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台,为开发者提供便利的 API 接口来调用服务,让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 512 关注
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    71 引用 • 535 回帖 • 834 关注
  • V2Ray
    1 引用 • 15 回帖 • 5 关注
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”,乌云众测平台认证的“安全云”,为移动时代的创业者提供新一代的 CDN 加速服务。

    20 引用 • 37 回帖 • 567 关注
  • Netty

    Netty 是一个基于 NIO 的客户端-服务器编程框架,使用 Netty 可以让你快速、简单地开发出一个可维护、高性能的网络应用,例如实现了某种协议的客户、服务端应用。

    49 引用 • 33 回帖 • 45 关注
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 74 关注
  • danl
    187 关注
  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    34 引用 • 37 回帖 • 555 关注
  • 面试

    面试造航母,上班拧螺丝。多面试,少加班。

    326 引用 • 1395 回帖
  • 程序员

    程序员是从事程序开发、程序维护的专业人员。

    593 引用 • 3533 回帖
  • JRebel

    JRebel 是一款 Java 虚拟机插件,它使得 Java 程序员能在不进行重部署的情况下,即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 688 关注
  • Love2D

    Love2D 是一个开源的, 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 561 关注
  • Vim

    Vim 是类 UNIX 系统文本编辑器 Vi 的加强版本,加入了更多特性来帮助编辑源代码。Vim 的部分增强功能包括文件比较(vimdiff)、语法高亮、全面的帮助系统、本地脚本(Vimscript)和便于选择的可视化模式。

    29 引用 • 66 回帖 • 2 关注
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统,它问世于 1985 年,起初仅仅是 Microsoft-DOS 模拟环境,后续的系统版本由于微软不断的更新升级,不但易用,也慢慢的成为家家户户人们最喜爱的操作系统。

    232 引用 • 484 回帖
  • OnlyOffice
    4 引用 • 18 关注
  • Ubuntu

    Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的 Linux 操作系统,其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词,意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观,类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    127 引用 • 169 回帖
  • 游戏

    沉迷游戏伤身,强撸灰飞烟灭。

    188 引用 • 832 回帖
  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    15 引用 • 7 回帖 • 3 关注
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台,用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统(CMS)来使用。WordPress 是一个免费的开源项目,在 GNU 通用公共许可证(GPLv2)下授权发布。

    46 引用 • 114 回帖 • 159 关注