多端笔记同步丢失数据

本贴最后更新于 514 天前,其中的信息可能已经物是人非

多端笔记同步丢失数据,我是两个 pc 端,加一个移动端。使用的是阿里的 S3 服务

1。 发现一个 pc 端的笔记内容,没有同步到另一个 pc 端。

2。 移动端往 S3 上同步时好时坏。报错:RequestError: send request failed caused by: Put "": read t read: software caused connection abort (Provider: S3)

或者是我使用的问题?如何才能避免同步数据丢失?

希望进一步改善同步的稳定行吧

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    25452 引用 • 105276 回帖

相关帖子

优质回帖
  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • 今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • pakeh2866 via iPhone

    七牛没出现过,建议上传日志排查原因

  • 有问题最关键的还是要上截图和日志,单纯文字全靠猜啊?

    1. 阿里的 S3 是什么节点,香港还是大陆?香港的网络问题很大,这也很重要。
    2. 多端同步是什么模式?完全自动还是半自动还是手动,这个很重要,后两个忘了同步那肯定就是冲突。
    3. 这个报错大部分是网络问题,可以检查你的 S3 配置,比如最后一条是不是改成 path 好点?当时用的时候有没有开梯子导致网络问题?
    1 回复
  • ethanyang

    1。,我使用的是香港的,不能排除 s3 问题。不过就算是 S3 有问题,应该是网络层的问题,不应该影响应用。
    2。丢失的那个文本,是自动同步的。那个文档移动端编写过(同步报错),A 电脑上后来打开编写(昨天 A 电脑上应该同步成功了),今天发下在 B 电脑上没了。

    然后,刚才 B 电脑上同步了,移动端的文档变成 B 电脑的版本,A 电脑上的也变成 B 电脑的版本。

    好在,在 A 电脑上,把文件找回来了。

    如果移动端、A 上面有过一次同步成功,应该云端就有。不过也说不通,不管哪段有个文档同步失败,再次同步不应该全盘覆盖啊。

    siyuan 的同步逻辑是不是太粗暴了,文件是否最新,不应该是文件级别颗粒度吗?不应该和哪个终端有关系啊

    1 回复
  • ethanyang

    好像文档的编辑历史记录是在本地的

    简单点,所有文档的编辑记录,全部放云端

    这样:
    1。 直接按编辑上传的新旧,判断文件是否最新

    2。 在其他电脑上编辑的历史记录,也能在其他终端上恢复

    3。 编辑的历史记录也可以在云端了。编辑的体验就上升了。

  • 请上传所有参与同步的设备日志,并发一下丢失的 ID 或者大致时间,谢谢。

    1 回复
  • 关于同步逻辑,建议看帮助文档的数据同步文档,了解后就能知道意思了。

  • 把日志发出来看看吧

  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

    1 回复
  • ethanyang 1 评论

    今天又一次数据没有同步过来

    是移动端编辑了,PCA 早上同步了,晚上 PCB 上的文件没有同步过来。

    有问题的文件是 daily note 日志,我发现移动端的今天自动创建的 daily note 文档 ID 和 PC B 的 daily note 文档 ID 不一样。

    好奇怪。systemlog1.zip

    今天的发生时间发生在 20:45 左右。
    ethanyang
  • ethanyang

    发生在 20:45 左右

    1 回复
  • pakeh2866 via iPhone

    我也是半自动不错。全自动同步频率太高了。

    其次,手机端只以只读模式打开,非必要不改。

    随手记用 flomo

  • 这份日志中 20:42:41、20:44:46 和 20:47:20 的三次同步都没有云端变更。

    是不是移动端没有同步完成就关闭 APP 了? 需要多端的日志才能确定具体问题,只有一个端的日志看不出问题哦。

    2 回复
  • ethanyang

    我的 PC A 上是成功同步的,可以看到手机上的内容。

    今天早上验证过的

    1 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。都是 2023-12-15

  • 那可能是 PC B 上没有同步成功。

    1 回复
  • ethanyang

    systemlog.zip

    PC A 的日志

    1 回复
  • ethanyang

    为啥没同步成功,就算是文件不相同,也应该有两个文件

    1 回复
  • 还需要移动端的日志,谢谢。

    另外,请把 ID 发一下,不然不好定位。

  • 从已有的两份 PC 日志上看没有发现相关同步报错,也没有发现同步删除文档的日志记录,这两个端快照的文件数量也是一致的,都是 5789 个文件。

    之前你不是说有两个 2023-12-15 的文档吗?只是 ID 不同,但是文件是两个,所以目前你遇到的问题到底是文档没有同步还是产生了重复日记文档?

    1 回复
  • ethanyang 2 评论

    之前说过了

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。名字都是 2023-12-15

    没有两个

    1 回复
    pc b 文件 id:20231215203753-nhtnjfb
    ethanyang
    移动端 id 20231215073632-w785jvd
    ethanyang
  • 你的意思是现在多个设备上都同步过还是不一致吗?上传一下移动端的日志还有这两个 ID 吧,不然排查不了问题。

    2 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、同文件名。但文件 ID 不一样,内容一个有,一个无。都是 2023-12-15

  • ethanyang

    文件名一个,三个端上两个 ID。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    PC A 和移动端一样,可以相互同步。PC B 有同名文件。内容不一样

    我也真是服了

  • ethanyang

    今天早上的 20231216 的文件一样现象。

    还是不一样

    我看今日笔记插件甚至都提供了一个功能“先同步再出创建文档”,说明这个问题不是个例。大家都会碰到

    image.png

  • 88250 2 评论

    建议先关闭插件看下,不确定是不是插件特有的逻辑。

    1 回复
    我理解不会吧, 今日笔记做插件干的事情就是一打开 siyuan 就创建个文档。
    ethanyang
    文档内容同步是思源来同步的
    ethanyang
  • ethanyang

    systemlog11.zip

    移动端的日志

    1 回复
  • mozhu 1 赞同 1 评论

    今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

    1 回复
    更像是同步逻辑的问题
    ethanyang
  • pakeh2866

    确实,今日插件我也遇到过笔记重复的这个情况……后来就只用原生的 daily note

  • 应该是插件的问题了,这个是老问题了。

    我记得插件应该会在第一次同步完成的时候检查一遍冲突然后弹出警告框,难道之前没有触发吗。

    要不关了自动打开功能、或者把插件卸了吧。这个问题我试了很多方法,应该是没法根治了。

  • 排除一下插件的影响吧。

    1 回复
  • ethanyang

    17 日,现象完全一样

    在移动端创建的“今日笔记”文件,没有同步到 PC B 上。

    1 回复
  • ethanyang

    如果是插件问题,为啥会在 PC A 上是好的?

    无论是不是插件的问题,最终都是有问题的。期望得到解决

    而且通过大家的评论来看,应该是个老问题了,不是个例。是不是应该重视起来

    1 回复
  • 发一下多端的日志还有 ID 吧,你不发 ID 很难排查,谢谢。

    1 回复
  • ethanyang 2 评论

    很早就发了。。。

    pc b 文件 id:20231215203753-nhtnjfb

    三端的日志都发了。发了 3 个 log,分别对应三端

    1 回复
    移动端 id 20231215073632-w785jvd
    ethanyang
    移动端和 PC A 文件 ID 相同
    ethanyang
  • ethanyang

    另外发现另外一个问题:

    今日笔记 无法在移动端卸载

  • 抱歉,你没回复我所以看漏了,稍后我分析下再给你回复。

    1 回复
  • ethanyang 1 评论

    好像好了,重新安装了一下,配置了一下。就可以了。

    可以不用看了。

    1 回复
    不过,今日笔记移动端确实好像无法关闭。
    ethanyang
  • 你指的是什么好了?

  • 你之前上传的日志分析如下:

    从 B 设备上的日志可以看出,在 15 号 20:38:01 的快照中出现了 20231215203753-nhtnjfb 文件,这个文件已经被正确同步到云端,文件数量由 5788 变为了 5789,快照 ID d1fd58b15d45f24c0bdd054cdcb956e3154a1600

    image.png

    这个设备上接下来的几次同步并没有变更文件,所以快照 ID 没变,直到退出安装新版本:

    image.png

    但是,在移动端 20:41:16 的日志可以看出下载的快照 cefc1591d904e28624559b32c11d86772e629588 并不是最新快照(最新快照是上面 B 设备上传的快照 d1fd58b15d45f24c0bdd054cdcb956e3154a1600):

    image.png

    这个快照是由 A 设备在 15 号早上 10:16:32 上传的:

    image.png

    也就是说移动端下载到了旧的快照,所以导致接下来的同步不符合预期。

    我建议你排查一下云端存储 S3 的配置,比如是否开启了 CDN 或者缓存之类的配置,如果开启了就关闭掉,否则会导致无法正确同步的问题

  • 你先确认下是不是云端存储 S3 上开了 CDN 吧,如果没开的话就是这家 S3 服务提供商的问题,建议发工单咨询一下,如果无法解决这个问题,建议换成其他 S3 存储服务。

    数据同步是重中之重,但是这不只是代码问题,还和配置、S3 服务质量相关,所以不是我们不重视,而是有的情况不是我们能解决的,希望你能理解,谢谢。

请输入回帖内容 ...

推荐标签 标签

  • 链滴

    链滴是一个记录生活的地方。

    记录生活,连接点滴

    174 引用 • 3852 回帖
  • 单点登录

    单点登录(Single Sign On)是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖
  • GraphQL

    GraphQL 是一个用于 API 的查询语言,是一个使用基于类型系统来执行查询的服务端运行时(类型系统由你的数据定义)。GraphQL 并没有和任何特定数据库或者存储引擎绑定,而是依靠你现有的代码和数据支撑。

    4 引用 • 3 回帖 • 13 关注
  • JVM

    JVM(Java Virtual Machine)Java 虚拟机是一个微型操作系统,有自己的硬件构架体系,还有相应的指令系统。能够识别 Java 独特的 .class 文件(字节码),能够将这些文件中的信息读取出来,使得 Java 程序只需要生成 Java 虚拟机上的字节码后就能在不同操作系统平台上进行运行。

    180 引用 • 120 回帖 • 2 关注
  • FreeMarker

    FreeMarker 是一款好用且功能强大的 Java 模版引擎。

    23 引用 • 20 回帖 • 467 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库,强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery,是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 735 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端,也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖
  • 深度学习

    深度学习(Deep Learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    54 引用 • 44 回帖
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。

    76 引用 • 258 回帖 • 628 关注
  • sts
    2 引用 • 2 回帖 • 230 关注
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务,可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务,所以该项目也已经停止维护了!

    35 引用 • 468 回帖 • 765 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edges)则表示在节点间相互联系的多维数据数组,即张量(tensor)。

    20 引用 • 19 回帖 • 3 关注
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言,由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码,也可以编译成 JavaScript,方便在没有 JVM 的设备上运行。在 Google I/O 2017 中,Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 74 关注
  • Scala

    Scala 是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 158 关注
  • 心情

    心是产生任何想法的源泉,心本体会陷入到对自己本体不能理解的状态中,因为心能产生任何想法,不能分出对错,不能分出自己。

    59 引用 • 369 回帖
  • HBase

    HBase 是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable:一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样,HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 59 关注
  • 微软

    微软是一家美国跨国科技公司,也是世界 PC 软件开发的先导,由比尔·盖茨与保罗·艾伦创办于 1975 年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖 • 1 关注
  • 百度

    百度(Nasdaq:BIDU)是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村,致力于向人们提供“简单,可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”,象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 93 关注
  • Notion

    Notion - The all-in-one workspace for your notes, tasks, wikis, and databases.

    10 引用 • 77 回帖
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 5 关注
  • 程序员

    程序员是从事程序开发、程序维护的专业人员。

    589 引用 • 3538 回帖
  • Postman

    Postman 是一款简单好用的 HTTP API 调试工具。

    4 引用 • 3 回帖 • 2 关注
  • 锤子科技

    锤子科技(Smartisan)成立于 2012 年 5 月,是一家制造移动互联网终端设备的公司,公司的使命是用完美主义的工匠精神,打造用户体验一流的数码消费类产品(智能手机为主),改善人们的生活质量。

    4 引用 • 31 回帖 • 2 关注
  • abitmean

    有点意思就行了

    34 关注
  • MyBatis

    MyBatis 本是 Apache 软件基金会 的一个开源项目 iBatis,2010 年这个项目由 Apache 软件基金会迁移到了 google code,并且改名为 MyBatis ,2013 年 11 月再次迁移到了 GitHub。

    173 引用 • 414 回帖 • 365 关注
  • 支付宝

    支付宝是全球领先的独立第三方支付平台,致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验,及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖
  • IBM

    IBM(国际商业机器公司)或万国商业机器公司,简称 IBM(International Business Machines Corporation),总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国,是全球最大的信息技术和业务解决方案公司,拥有全球雇员 30 多万人,业务遍及 160 多个国家和地区。

    17 引用 • 53 回帖 • 142 关注