多端笔记同步丢失数据

本贴最后更新于 374 天前,其中的信息可能已经物是人非

多端笔记同步丢失数据,我是两个 pc 端,加一个移动端。使用的是阿里的 S3 服务

1。 发现一个 pc 端的笔记内容,没有同步到另一个 pc 端。

2。 移动端往 S3 上同步时好时坏。报错:RequestError: send request failed caused by: Put "": read t read: software caused connection abort (Provider: S3)

或者是我使用的问题?如何才能避免同步数据丢失?

希望进一步改善同步的稳定行吧

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    23012 引用 • 92565 回帖

相关帖子

优质回帖
  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • 今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • pakeh2866

    七牛没出现过,建议上传日志排查原因

  • 有问题最关键的还是要上截图和日志,单纯文字全靠猜啊?

    1. 阿里的 S3 是什么节点,香港还是大陆?香港的网络问题很大,这也很重要。
    2. 多端同步是什么模式?完全自动还是半自动还是手动,这个很重要,后两个忘了同步那肯定就是冲突。
    3. 这个报错大部分是网络问题,可以检查你的 S3 配置,比如最后一条是不是改成 path 好点?当时用的时候有没有开梯子导致网络问题?
    1 回复
  • ethanyang

    1。,我使用的是香港的,不能排除 s3 问题。不过就算是 S3 有问题,应该是网络层的问题,不应该影响应用。
    2。丢失的那个文本,是自动同步的。那个文档移动端编写过(同步报错),A 电脑上后来打开编写(昨天 A 电脑上应该同步成功了),今天发下在 B 电脑上没了。

    然后,刚才 B 电脑上同步了,移动端的文档变成 B 电脑的版本,A 电脑上的也变成 B 电脑的版本。

    好在,在 A 电脑上,把文件找回来了。

    如果移动端、A 上面有过一次同步成功,应该云端就有。不过也说不通,不管哪段有个文档同步失败,再次同步不应该全盘覆盖啊。

    siyuan 的同步逻辑是不是太粗暴了,文件是否最新,不应该是文件级别颗粒度吗?不应该和哪个终端有关系啊

    1 回复
  • ethanyang

    好像文档的编辑历史记录是在本地的

    简单点,所有文档的编辑记录,全部放云端

    这样:
    1。 直接按编辑上传的新旧,判断文件是否最新

    2。 在其他电脑上编辑的历史记录,也能在其他终端上恢复

    3。 编辑的历史记录也可以在云端了。编辑的体验就上升了。

  • 请上传所有参与同步的设备日志,并发一下丢失的 ID 或者大致时间,谢谢。

    1 回复
  • 关于同步逻辑,建议看帮助文档的数据同步文档,了解后就能知道意思了。

  • 把日志发出来看看吧

  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

    1 回复
  • ethanyang 1 评论

    今天又一次数据没有同步过来

    是移动端编辑了,PCA 早上同步了,晚上 PCB 上的文件没有同步过来。

    有问题的文件是 daily note 日志,我发现移动端的今天自动创建的 daily note 文档 ID 和 PC B 的 daily note 文档 ID 不一样。

    好奇怪。systemlog1.zip

    今天的发生时间发生在 20:45 左右。
    ethanyang
  • ethanyang

    发生在 20:45 左右

    1 回复
  • pakeh2866

    我也是半自动不错。全自动同步频率太高了。

    其次,手机端只以只读模式打开,非必要不改。

    随手记用 flomo

  • 这份日志中 20:42:41、20:44:46 和 20:47:20 的三次同步都没有云端变更。

    是不是移动端没有同步完成就关闭 APP 了? 需要多端的日志才能确定具体问题,只有一个端的日志看不出问题哦。

    2 回复
  • ethanyang

    我的 PC A 上是成功同步的,可以看到手机上的内容。

    今天早上验证过的

    1 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。都是 2023-12-15

  • 那可能是 PC B 上没有同步成功。

    1 回复
  • ethanyang

    systemlog.zip

    PC A 的日志

    1 回复
  • ethanyang

    为啥没同步成功,就算是文件不相同,也应该有两个文件

    1 回复
  • 还需要移动端的日志,谢谢。

    另外,请把 ID 发一下,不然不好定位。

  • 从已有的两份 PC 日志上看没有发现相关同步报错,也没有发现同步删除文档的日志记录,这两个端快照的文件数量也是一致的,都是 5789 个文件。

    之前你不是说有两个 2023-12-15 的文档吗?只是 ID 不同,但是文件是两个,所以目前你遇到的问题到底是文档没有同步还是产生了重复日记文档?

    1 回复
  • ethanyang 2 评论

    之前说过了

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。名字都是 2023-12-15

    没有两个

    1 回复
    pc b 文件 id:20231215203753-nhtnjfb
    ethanyang
    移动端 id 20231215073632-w785jvd
    ethanyang
  • 你的意思是现在多个设备上都同步过还是不一致吗?上传一下移动端的日志还有这两个 ID 吧,不然排查不了问题。

    2 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、同文件名。但文件 ID 不一样,内容一个有,一个无。都是 2023-12-15

  • ethanyang

    文件名一个,三个端上两个 ID。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    PC A 和移动端一样,可以相互同步。PC B 有同名文件。内容不一样

    我也真是服了

  • ethanyang

    今天早上的 20231216 的文件一样现象。

    还是不一样

    我看今日笔记插件甚至都提供了一个功能“先同步再出创建文档”,说明这个问题不是个例。大家都会碰到

    image.png

  • 88250 2 评论

    建议先关闭插件看下,不确定是不是插件特有的逻辑。

    1 回复
    我理解不会吧, 今日笔记做插件干的事情就是一打开 siyuan 就创建个文档。
    ethanyang
    文档内容同步是思源来同步的
    ethanyang
  • ethanyang

    systemlog11.zip

    移动端的日志

    1 回复
  • mozhu 1 赞同 1 评论

    今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

    1 回复
    更像是同步逻辑的问题
    ethanyang
  • pakeh2866

    确实,今日插件我也遇到过笔记重复的这个情况……后来就只用原生的 daily note

  • 应该是插件的问题了,这个是老问题了。

    我记得插件应该会在第一次同步完成的时候检查一遍冲突然后弹出警告框,难道之前没有触发吗。

    要不关了自动打开功能、或者把插件卸了吧。这个问题我试了很多方法,应该是没法根治了。

  • 88250

    排除一下插件的影响吧。

    1 回复
  • ethanyang

    17 日,现象完全一样

    在移动端创建的“今日笔记”文件,没有同步到 PC B 上。

    1 回复
  • ethanyang

    如果是插件问题,为啥会在 PC A 上是好的?

    无论是不是插件的问题,最终都是有问题的。期望得到解决

    而且通过大家的评论来看,应该是个老问题了,不是个例。是不是应该重视起来

    1 回复
  • 88250

    发一下多端的日志还有 ID 吧,你不发 ID 很难排查,谢谢。

    1 回复
  • ethanyang 2 评论

    很早就发了。。。

    pc b 文件 id:20231215203753-nhtnjfb

    三端的日志都发了。发了 3 个 log,分别对应三端

    1 回复
    移动端 id 20231215073632-w785jvd
    ethanyang
    移动端和 PC A 文件 ID 相同
    ethanyang
  • ethanyang

    另外发现另外一个问题:

    今日笔记 无法在移动端卸载

  • 88250

    抱歉,你没回复我所以看漏了,稍后我分析下再给你回复。

    1 回复
  • ethanyang 1 评论

    好像好了,重新安装了一下,配置了一下。就可以了。

    可以不用看了。

    1 回复
    不过,今日笔记移动端确实好像无法关闭。
    ethanyang
  • 88250

    你指的是什么好了?

  • 88250

    你之前上传的日志分析如下:

    从 B 设备上的日志可以看出,在 15 号 20:38:01 的快照中出现了 20231215203753-nhtnjfb 文件,这个文件已经被正确同步到云端,文件数量由 5788 变为了 5789,快照 ID d1fd58b15d45f24c0bdd054cdcb956e3154a1600

    image.png

    这个设备上接下来的几次同步并没有变更文件,所以快照 ID 没变,直到退出安装新版本:

    image.png

    但是,在移动端 20:41:16 的日志可以看出下载的快照 cefc1591d904e28624559b32c11d86772e629588 并不是最新快照(最新快照是上面 B 设备上传的快照 d1fd58b15d45f24c0bdd054cdcb956e3154a1600):

    image.png

    这个快照是由 A 设备在 15 号早上 10:16:32 上传的:

    image.png

    也就是说移动端下载到了旧的快照,所以导致接下来的同步不符合预期。

    我建议你排查一下云端存储 S3 的配置,比如是否开启了 CDN 或者缓存之类的配置,如果开启了就关闭掉,否则会导致无法正确同步的问题

  • 88250

    你先确认下是不是云端存储 S3 上开了 CDN 吧,如果没开的话就是这家 S3 服务提供商的问题,建议发工单咨询一下,如果无法解决这个问题,建议换成其他 S3 存储服务。

    数据同步是重中之重,但是这不只是代码问题,还和配置、S3 服务质量相关,所以不是我们不重视,而是有的情况不是我们能解决的,希望你能理解,谢谢。

请输入回帖内容 ...

推荐标签 标签

  • Postman

    Postman 是一款简单好用的 HTTP API 调试工具。

    4 引用 • 3 回帖 • 7 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,是 Google 的 Chubby 一个开源的实现,是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 14 关注
  • 学习

    “梦想从学习开始,事业从实践起步” —— 习近平

    171 引用 • 512 回帖
  • JWT

    JWT(JSON Web Token)是一种用于双方之间传递信息的简洁的、安全的表述性声明规范。JWT 作为一个开放的标准(RFC 7519),定义了一种简洁的,自包含的方法用于通信双方之间以 JSON 的形式安全的传递信息。

    20 引用 • 15 回帖 • 6 关注
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    107 引用 • 153 回帖
  • Love2D

    Love2D 是一个开源的, 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 538 关注
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 59 关注
  • 机器学习

    机器学习(Machine Learning)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

    83 引用 • 37 回帖
  • Swagger

    Swagger 是一款非常流行的 API 开发工具,它遵循 OpenAPI Specification(这是一种通用的、和编程语言无关的 API 描述规范)。Swagger 贯穿整个 API 生命周期,如 API 的设计、编写文档、测试和部署。

    26 引用 • 35 回帖 • 5 关注
  • 房星科技

    房星网,我们不和没有钱的程序员谈理想,我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源,遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 584 关注
  • App

    App(应用程序,Application 的缩写)一般指手机软件。

    91 引用 • 384 回帖 • 2 关注
  • 自由行
    4 关注
  • Sym

    Sym 是一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)系统平台。

    下一代的社区系统,为未来而构建

    524 引用 • 4601 回帖 • 700 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统,最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统,最初是设计给 iPhone 使用的,后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样,属于类 Unix 的商业操作系统。

    85 引用 • 139 回帖
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 29 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖 • 1 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    313 引用 • 547 回帖 • 1 关注
  • Hprose

    Hprose 是一款先进的轻量级、跨语言、跨平台、无侵入式、高性能动态远程对象调用引擎库。它不仅简单易用,而且功能强大。你无需专门学习,只需看上几眼,就能用它轻松构建分布式应用系统。

    9 引用 • 17 回帖 • 612 关注
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 694 关注
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    71 引用 • 535 回帖 • 789 关注
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台,用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统(CMS)来使用。WordPress 是一个免费的开源项目,在 GNU 通用公共许可证(GPLv2)下授权发布。

    66 引用 • 114 回帖 • 223 关注
  • Solo

    Solo 是一款小而美的开源博客系统,专为程序员设计。Solo 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    1435 引用 • 10056 回帖 • 489 关注
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年,是中国的 IT 社区和服务平台,为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务,满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    209 引用 • 358 回帖 • 1 关注
  • 分享

    有什么新发现就分享给大家吧!

    248 引用 • 1795 回帖
  • 百度

    百度(Nasdaq:BIDU)是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村,致力于向人们提供“简单,可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”,象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 164 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具,助力您的学习与思考,让您的大脑更高效的记忆。

    笔记整理交给我,一心只读圣贤书。

    1 引用 • 1 回帖