多端笔记同步丢失数据

本贴最后更新于 222 天前,其中的信息可能已经物是人非

多端笔记同步丢失数据,我是两个 pc 端,加一个移动端。使用的是阿里的 S3 服务

1。 发现一个 pc 端的笔记内容,没有同步到另一个 pc 端。

2。 移动端往 S3 上同步时好时坏。报错:RequestError: send request failed caused by: Put "": read t read: software caused connection abort (Provider: S3)

或者是我使用的问题?如何才能避免同步数据丢失?

希望进一步改善同步的稳定行吧

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    20174 引用 • 77854 回帖 • 1 关注

相关帖子

优质回帖
  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • 今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 数据安全一直是思源笔记的重中之重,最近几个版本都在不遗余力的优化完善同步功能。

    云端同步除了软件自身问题,网络和 S3 储存稳定性影响也很大,如果问题持续存在,可整体排查一遍。另外,可以发一下思源笔记的系统日志,以便于开发者排查问题

  • pakeh2866

    七牛没出现过,建议上传日志排查原因

  • 有问题最关键的还是要上截图和日志,单纯文字全靠猜啊?

    1. 阿里的 S3 是什么节点,香港还是大陆?香港的网络问题很大,这也很重要。
    2. 多端同步是什么模式?完全自动还是半自动还是手动,这个很重要,后两个忘了同步那肯定就是冲突。
    3. 这个报错大部分是网络问题,可以检查你的 S3 配置,比如最后一条是不是改成 path 好点?当时用的时候有没有开梯子导致网络问题?
    1 回复
  • ethanyang

    1。,我使用的是香港的,不能排除 s3 问题。不过就算是 S3 有问题,应该是网络层的问题,不应该影响应用。
    2。丢失的那个文本,是自动同步的。那个文档移动端编写过(同步报错),A 电脑上后来打开编写(昨天 A 电脑上应该同步成功了),今天发下在 B 电脑上没了。

    然后,刚才 B 电脑上同步了,移动端的文档变成 B 电脑的版本,A 电脑上的也变成 B 电脑的版本。

    好在,在 A 电脑上,把文件找回来了。

    如果移动端、A 上面有过一次同步成功,应该云端就有。不过也说不通,不管哪段有个文档同步失败,再次同步不应该全盘覆盖啊。

    siyuan 的同步逻辑是不是太粗暴了,文件是否最新,不应该是文件级别颗粒度吗?不应该和哪个终端有关系啊

    1 回复
  • ethanyang

    好像文档的编辑历史记录是在本地的

    简单点,所有文档的编辑记录,全部放云端

    这样:
    1。 直接按编辑上传的新旧,判断文件是否最新

    2。 在其他电脑上编辑的历史记录,也能在其他终端上恢复

    3。 编辑的历史记录也可以在云端了。编辑的体验就上升了。

  • 88250

    请上传所有参与同步的设备日志,并发一下丢失的 ID 或者大致时间,谢谢。

    1 回复
  • 关于同步逻辑,建议看帮助文档的数据同步文档,了解后就能知道意思了。

  • magicalmuggle

    把日志发出来看看吧

  • muxue 2 赞同

    我也是三个设备,两个电脑一个手机,个人不建议在手机上进行编辑,手机上的同步改成完全手动或半自动,避免手机上误操作导致数据被覆盖。电脑上我也使用的是半自动同步

    1 回复
  • ethanyang 1 评论

    今天又一次数据没有同步过来

    是移动端编辑了,PCA 早上同步了,晚上 PCB 上的文件没有同步过来。

    有问题的文件是 daily note 日志,我发现移动端的今天自动创建的 daily note 文档 ID 和 PC B 的 daily note 文档 ID 不一样。

    好奇怪。systemlog1.zip

    今天的发生时间发生在 20:45 左右。
    ethanyang
  • ethanyang

    发生在 20:45 左右

    1 回复
  • pakeh2866

    我也是半自动不错。全自动同步频率太高了。

    其次,手机端只以只读模式打开,非必要不改。

    随手记用 flomo

  • 88250

    这份日志中 20:42:41、20:44:46 和 20:47:20 的三次同步都没有云端变更。

    是不是移动端没有同步完成就关闭 APP 了? 需要多端的日志才能确定具体问题,只有一个端的日志看不出问题哦。

    2 回复
  • ethanyang

    我的 PC A 上是成功同步的,可以看到手机上的内容。

    今天早上验证过的

    1 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。都是 2023-12-15

  • 88250

    那可能是 PC B 上没有同步成功。

    1 回复
  • ethanyang

    systemlog.zip

    PC A 的日志

    1 回复
  • ethanyang

    为啥没同步成功,就算是文件不相同,也应该有两个文件

    1 回复
  • 88250

    还需要移动端的日志,谢谢。

    另外,请把 ID 发一下,不然不好定位。

  • 88250

    从已有的两份 PC 日志上看没有发现相关同步报错,也没有发现同步删除文档的日志记录,这两个端快照的文件数量也是一致的,都是 5789 个文件。

    之前你不是说有两个 2023-12-15 的文档吗?只是 ID 不同,但是文件是两个,所以目前你遇到的问题到底是文档没有同步还是产生了重复日记文档?

    1 回复
  • ethanyang 2 评论

    之前说过了

    现在我移动端、PC B 上同一个目录、通文件名。但文件 ID 不一样,内容一个有一个无。名字都是 2023-12-15

    没有两个

    1 回复
    pc b 文件 id:20231215203753-nhtnjfb
    ethanyang
    移动端 id 20231215073632-w785jvd
    ethanyang
  • 88250

    你的意思是现在多个设备上都同步过还是不一致吗?上传一下移动端的日志还有这两个 ID 吧,不然排查不了问题。

    2 回复
  • ethanyang

    现在我移动端、PC B 上同一个目录、同文件名。但文件 ID 不一样,内容一个有,一个无。都是 2023-12-15

  • ethanyang

    文件名一个,三个端上两个 ID。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    PC A 和移动端一样,可以相互同步。PC B 有同名文件。内容不一样

    我也真是服了

  • ethanyang

    今天早上的 20231216 的文件一样现象。

    还是不一样

    我看今日笔记插件甚至都提供了一个功能“先同步再出创建文档”,说明这个问题不是个例。大家都会碰到

    image.png

  • 88250 2 评论

    建议先关闭插件看下,不确定是不是插件特有的逻辑。

    1 回复
    我理解不会吧, 今日笔记做插件干的事情就是一打开 siyuan 就创建个文档。
    ethanyang
    文档内容同步是思源来同步的
    ethanyang
  • ethanyang

    systemlog11.zip

    移动端的日志

    1 回复
  • mozhu 1 赞同 1 评论

    今日插件这个正常是会有这个问题的,打开思源后就会新建一个文档,而这个文档同步前如果创建了,那就是两个文档。 另外这个同步后新建有时候不一定有效,首次启动后同步比较久,有的人就容易点 alt 5 就新建了。

    1 回复
    更像是同步逻辑的问题
    ethanyang
  • pakeh2866

    确实,今日插件我也遇到过笔记重复的这个情况……后来就只用原生的 daily note

  • 应该是插件的问题了,这个是老问题了。

    我记得插件应该会在第一次同步完成的时候检查一遍冲突然后弹出警告框,难道之前没有触发吗。

    要不关了自动打开功能、或者把插件卸了吧。这个问题我试了很多方法,应该是没法根治了。

  • 88250

    排除一下插件的影响吧。

    1 回复
  • ethanyang

    17 日,现象完全一样

    在移动端创建的“今日笔记”文件,没有同步到 PC B 上。

    1 回复
  • ethanyang

    如果是插件问题,为啥会在 PC A 上是好的?

    无论是不是插件的问题,最终都是有问题的。期望得到解决

    而且通过大家的评论来看,应该是个老问题了,不是个例。是不是应该重视起来

    1 回复
  • 88250

    发一下多端的日志还有 ID 吧,你不发 ID 很难排查,谢谢。

    1 回复
  • ethanyang 2 评论

    很早就发了。。。

    pc b 文件 id:20231215203753-nhtnjfb

    三端的日志都发了。发了 3 个 log,分别对应三端

    1 回复
    移动端 id 20231215073632-w785jvd
    ethanyang
    移动端和 PC A 文件 ID 相同
    ethanyang
  • ethanyang

    另外发现另外一个问题:

    今日笔记 无法在移动端卸载

  • 88250

    抱歉,你没回复我所以看漏了,稍后我分析下再给你回复。

    1 回复
  • ethanyang 1 评论

    好像好了,重新安装了一下,配置了一下。就可以了。

    可以不用看了。

    1 回复
    不过,今日笔记移动端确实好像无法关闭。
    ethanyang
  • 88250

    你指的是什么好了?

  • 88250

    你之前上传的日志分析如下:

    从 B 设备上的日志可以看出,在 15 号 20:38:01 的快照中出现了 20231215203753-nhtnjfb 文件,这个文件已经被正确同步到云端,文件数量由 5788 变为了 5789,快照 ID d1fd58b15d45f24c0bdd054cdcb956e3154a1600

    image.png

    这个设备上接下来的几次同步并没有变更文件,所以快照 ID 没变,直到退出安装新版本:

    image.png

    但是,在移动端 20:41:16 的日志可以看出下载的快照 cefc1591d904e28624559b32c11d86772e629588 并不是最新快照(最新快照是上面 B 设备上传的快照 d1fd58b15d45f24c0bdd054cdcb956e3154a1600):

    image.png

    这个快照是由 A 设备在 15 号早上 10:16:32 上传的:

    image.png

    也就是说移动端下载到了旧的快照,所以导致接下来的同步不符合预期。

    我建议你排查一下云端存储 S3 的配置,比如是否开启了 CDN 或者缓存之类的配置,如果开启了就关闭掉,否则会导致无法正确同步的问题

  • 88250

    你先确认下是不是云端存储 S3 上开了 CDN 吧,如果没开的话就是这家 S3 服务提供商的问题,建议发工单咨询一下,如果无法解决这个问题,建议换成其他 S3 存储服务。

    数据同步是重中之重,但是这不只是代码问题,还和配置、S3 服务质量相关,所以不是我们不重视,而是有的情况不是我们能解决的,希望你能理解,谢谢。

请输入回帖内容 ...

推荐标签 标签

  • 持续集成

    持续集成(Continuous Integration)是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。

    14 引用 • 7 回帖 • 3 关注
  • RYMCU

    RYMCU 致力于打造一个即严谨又活泼、专业又不失有趣,为数百万人服务的开源嵌入式知识学习交流平台。

    4 引用 • 6 回帖 • 45 关注
  • 黑曜石

    黑曜石是一款强大的知识库工具,支持本地 Markdown 文件编辑,支持双向链接和关系图。

    A second brain, for you, forever.

    10 引用 • 88 回帖
  • 分享

    有什么新发现就分享给大家吧!

    245 引用 • 1776 回帖 • 3 关注
  • wolai

    我来 wolai:不仅仅是未来的云端笔记!

    2 引用 • 14 回帖
  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    11 引用 • 5 回帖 • 580 关注
  • 倾城之链
    23 引用 • 66 回帖 • 120 关注
  • 禅道

    禅道是一款国产的开源项目管理软件,她的核心管理思想基于敏捷方法 scrum,内置了产品管理和项目管理,同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能,在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来,完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 181 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 623 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案,后端采用 Go 编写,采用 MIT 许可证。

    4 引用 • 16 回帖
  • 国际化

    i18n(其来源是英文单词 internationalization 的首末字符 i 和 n,18 为中间的字符数)是“国际化”的简称。对程序来说,国际化是指在不修改代码的情况下,能根据不同语言及地区显示相应的界面。

    7 引用 • 26 回帖
  • Flutter

    Flutter 是谷歌的移动 UI 框架,可以快速在 iOS 和 Android 上构建高质量的原生用户界面。 Flutter 可以与现有的代码一起工作,它正在被越来越多的开发者和组织使用,并且 Flutter 是完全免费、开源的。

    39 引用 • 92 回帖
  • etcd

    etcd 是一个分布式、高可用的 key-value 数据存储,专门用于在分布式系统中保存关键数据。

    5 引用 • 26 回帖 • 499 关注
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 5 关注
  • 宕机

    宕机,多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态,也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态,也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 52 关注
  • Java

    Java 是一种可以撰写跨平台应用软件的面向对象的程序设计语言,是由 Sun Microsystems 公司于 1995 年 5 月推出的。Java 技术具有卓越的通用性、高效性、平台移植性和安全性。

    3169 引用 • 8208 回帖 • 1 关注
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用,支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    16 引用 • 7 回帖 • 2 关注
  • 博客

    记录并分享人生的经历。

    272 引用 • 2386 回帖 • 2 关注
  • Firefox

    Mozilla Firefox 中文俗称“火狐”(正式缩写为 Fx 或 fx,非正式缩写为 FF),是一个开源的网页浏览器,使用 Gecko 排版引擎,支持多种操作系统,如 Windows、OSX 及 Linux 等。

    7 引用 • 30 回帖 • 428 关注
  • Thymeleaf

    Thymeleaf 是一款用于渲染 XML/XHTML/HTML5 内容的模板引擎。类似 Velocity、 FreeMarker 等,它也可以轻易的与 Spring 等 Web 框架进行集成作为 Web 应用的模板引擎。与其它模板引擎相比,Thymeleaf 最大的特点是能够直接在浏览器中打开并正确显示模板页面,而不需要启动整个 Web 应用。

    11 引用 • 19 回帖 • 320 关注
  • Quicker

    Quicker 您的指尖工具箱!操作更少,收获更多!

    26 引用 • 85 回帖
  • Jenkins

    Jenkins 是一套开源的持续集成工具。它提供了非常丰富的插件,让构建、部署、自动化集成项目变得简单易用。

    51 引用 • 37 回帖 • 3 关注
  • 单点登录

    单点登录(Single Sign On)是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖 • 2 关注
  • SpaceVim

    SpaceVim 是一个社区驱动的模块化 vim/neovim 配置集合,以模块的方式组织管理插件以
    及相关配置,为不同的语言开发量身定制了相关的开发模块,该模块提供代码自动补全,
    语法检查、格式化、调试、REPL 等特性。用户仅需载入相关语言的模块即可得到一个开箱
    即用的 Vim-IDE。

    3 引用 • 31 回帖 • 82 关注
  • Ubuntu

    Ubuntu(友帮拓、优般图、乌班图)是一个以桌面应用为主的 Linux 操作系统,其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词,意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观,类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    123 引用 • 168 回帖
  • LaTeX

    LaTeX(音译“拉泰赫”)是一种基于 ΤΕΧ 的排版系统,由美国计算机学家莱斯利·兰伯特(Leslie Lamport)在 20 世纪 80 年代初期开发,利用这种格式,即使使用者没有排版和程序设计的知识也可以充分发挥由 TeX 所提供的强大功能,能在几天,甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式,这一点表现得尤为突出。因此它非常适用于生成高印刷质量的科技和数学类文档。

    9 引用 • 32 回帖 • 143 关注
  • WebComponents

    Web Components 是 W3C 定义的标准,它给了前端开发者扩展浏览器标签的能力,可以方便地定制可复用组件,更好的进行模块化开发,解放了前端开发者的生产力。

    1 引用 • 3 关注