登录 注册

同步出现了很多重复文件

本贴最后更新于 295 天前，其中的信息可能已经时异事殊

我看那个时间点，应该是断过一次网。

不知道为什么，断网之后，为什么出现了很多同名文件，ID 不一样了。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    22351 引用 • 89431 回帖 • 1 关注
上海 位置
11 回帖
6
5
410 164 11 214 8 8

相关帖子

11 回帖
同步出现了很多重复文件

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • moohadun •
    订阅者 付费者 支持者 作者

    systemlog2.zip

    这个日志看看有吗？不是很确定。

    回答：1，没有手动操作过文件系统的。

    疑惑：能否解惑，“中间少了一层，这种情况下文件路径不同，所以不会自动合并"这个逻辑是为了哪种场景。id 相同为啥不能认定为同一个文件嘞，增加判断路径是为了场中场景

    1 回复
  • 其他回帖
  • 88250 • • 1 评论
    订阅者 MOD

    1 月 31 号 19:32 校验索引时发现了 221 个 ID 重复的文档：

    W 2024/01/31 19:32:36 index_fix.go:128: exist more than one tree duplicated [221], reindex it

    往前看可以找到是从 Android 端同步过来的：

    I 2024/01/31 19:13:39 siyuan.go:138: downloaded object [siyuan/1642173161657/repo/siyuan-note-wei/indexes/2b2524e142b3371892a71743d9f824a018d675a3]
I 2024/01/31 19:13:39 sync.go:1592: got cloud latest [device=ec69xd57s31n/android, id=2b2524e142b3371892a71743d9f824a018d675a3, files=8662, size=1.6 GB, created=2024-01-31 18:40:09]

    Android 端的这个快照 2b2524e 有 8662 个文件。以 ID 重复的 20240110112136-hmzri1c.sy 为例，可以看到在本地的路径是：/20240110224850-mj5s0a2/20240111162221-s1f6o2h/20240110112136-hmzri1c.sy，但是 Android 端的路径是 /20240110224850-mj5s0a2/20240110112136-hmzri1c.sy，中间少了一层，这种情况下文件路径不同，所以不会自动合并，而是将 Android 的文件下载到本地，导致本地存在了两个一样 ID 的文档。

    继续往前追溯 Android 端同步，可以找到 1 月 30 号的同步：

    I 2024/01/30 09:35:00 sync.go:1592: got cloud latest [device=ec69xd57s31n/android, id=8638d653e54c7863c2a04ab62e4564b2faf74591, files=8412, size=1.6 GB, created=2024-01-30 09:34:58]

    这时候 Android 端快照 8638d65 文件数量是 8412，也就是说这段时间内 Android 端增加了 250 个文件，这些文件是其他端同步过去的还是如何新增的，需要 Android 端的日志才能进一步分析了，可能就是这些文件重复导致的问题，请上传 Android 端的日志，谢谢。

    1、安卓日志已经上传；2、你们肯定考虑了同步文件的时候，发生了文档移动的情况（不限于跨文件夹移动）；3、可否告知“中间少了一层，这种情况下文件路径不同，所以不会自动合并”这个逻辑是为了哪种场景。4、还有就是我删除多个文件夹后来又出现了。不知道为啥，甚至删不掉，我只能手动清空文件系统
    moohadun •
  • moohadun • • 1 • 2 评论
    订阅者 付费者 支持者 作者

    @88250

    systemlogmac.zip

    systemlog 安卓.zip

    1 回复
    旧的 ID 信息———((20231119192606-jxpmujz '任务管理'))；((20231122104908-bg77jgx '项目管理'))
    moohadun •
    新的 ID 信息 任务管理](siyuan://blocks/20240326165050-tsnl9rk)；项目管理](siyuan://blocks/20240326165050-vptp2gj)
    moohadun •
  • 88250 • • 7 评论
    订阅者 MOD

    同步过程中断网或者其他意外情况不会造成数据重复或者损坏的。

    重复的文档应该是因为生成了冲突文件，请参考 用户指南 - 数据安全 - 数据可用性保障 - 云端同步 章节。

    目前我正在找，唉，大概多了 500 个文件
    moohadun •
    能给增加配置，比如，冲突文件自动生成的，带有【冲突文件】后缀这样吗？不然我也不知道自动生成的冲突文件，区别。
    moohadun •
    @moohadun 冲突文档的文档名上默认会添加 Conflicted 的（也就是你所说的“冲突”）
    JeffreyChen •
    你们的同步逻辑有问题吧。我发现今中午又产生了 500 个文件。
    moohadun •
    @moohadun 同步逻辑没有问题的，请参考用户指南云端同步章节，那里有冲突场景介绍。
    88250 •
    没有产生同步文件。 没有出现默认 Conflicted 的文件。 你去复现一下，将一个文档移动到另一个文件夹中。是不是会出现新文档
    moohadun •
    复现的条件，应该是有很多的文档时，将一个父文档移动到另一个地方，云端同步了，你们的本地数据写的不及时，然后与云端比较不一致导致的 。
    moohadun •
  • 查看全部回帖
moohadun
上海
回帖
81
 帖子
45
 积分
4797

近期热议

推荐标签 标签

  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量，事件及实时分析。

    2 引用 • 72 关注
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 26 关注
  • 域名

    域名（Domain Name），简称域名、网域，是由一串用点分隔的名字组成的 Internet 上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位（有时也指地理位置）。

    43 引用 • 208 回帖
  • JRebel

    JRebel 是一款 Java 虚拟机插件，它使得 Java 程序员能在不进行重部署的情况下，即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 664 关注
  • 脑图

    脑图又叫思维导图，是表达发散性思维的有效图形思维工具 ，它简单却又很有效，是一种实用性的思维工具。

    26 引用 • 84 回帖
  • 微软

    微软是一家美国跨国科技公司，也是世界 PC 软件开发的先导，由比尔·盖茨与保罗·艾伦创办于 1975 年，公司总部设立在华盛顿州的雷德蒙德（Redmond，邻近西雅图）。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖
  • OpenResty

    OpenResty 是一个基于 NGINX 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

    17 引用 • 40 关注
  • RabbitMQ

    RabbitMQ 是一个开源的 AMQP 实现，服务器端用 Erlang 语言编写，支持多种语言客户端，如：Python、Ruby、.NET、Java、C、PHP、ActionScript 等。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

    49 引用 • 60 回帖 • 364 关注
  • SOHO

    为成为自由职业者在家办公而努力吧！

    7 引用 • 55 回帖 • 18 关注
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展，它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖
  • PHP

    PHP（Hypertext Preprocessor）是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点，主要适用于 Web 开发领域，据说是世界上最好的编程语言。

    179 引用 • 407 回帖 • 488 关注
  • App

    App（应用程序，Application 的缩写）一般指手机软件。

    91 引用 • 384 回帖
  • Swift

    Swift 是苹果于 2014 年 WWDC（苹果开发者大会）发布的开发语言，可与 Objective-C 共同运行于 Mac OS 和 iOS 平台，用于搭建基于苹果平台的应用程序。

    36 引用 • 37 回帖 • 529 关注
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议，它实现了浏览器与服务器之间的全双工通信（full-duplex）。

    48 引用 • 206 回帖 • 334 关注
  • CongSec

    本标签主要用于分享网络空间安全专业的学习笔记

    1 引用 • 1 回帖 • 9 关注
  • JSON

    JSON （JavaScript Object Notation）是一种轻量级的数据交换格式。易于人类阅读和编写。同时也易于机器解析和生成。

    52 引用 • 190 回帖
  • HHKB

    HHKB 是富士通的 Happy Hacking 系列电容键盘。电容键盘即无接点静电电容式键盘（Capacitive Keyboard）。

    5 引用 • 74 回帖 • 471 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 4 关注
  • 微服务

    微服务架构是一种架构模式，它提倡将单一应用划分成一组小的服务。服务之间互相协调，互相配合，为用户提供最终价值。每个服务运行在独立的进程中。服务于服务之间才用轻量级的通信机制互相沟通。每个服务都围绕着具体业务构建，能够被独立的部署。

    96 引用 • 155 回帖 • 1 关注
  • 心情

    心是产生任何想法的源泉，心本体会陷入到对自己本体不能理解的状态中，因为心能产生任何想法，不能分出对错，不能分出自己。

    59 引用 • 369 回帖
  • H2

    H2 是一个开源的嵌入式数据库引擎，采用 Java 语言编写，不受平台的限制，同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式，可以兼容一些主流的数据库，因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 654 关注
  • 电影

    这是一个不能说的秘密。

    120 引用 • 599 回帖
  • Facebook

    Facebook 是一个联系朋友的社交工具。大家可以通过它和朋友、同事、同学以及周围的人保持互动交流，分享无限上传的图片，发布链接和视频，更可以增进对朋友的了解。

    4 引用 • 15 回帖 • 453 关注
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台， 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动， 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖 • 43 关注
  • Angular

    Angular 是 AngularJS 的新版本。

    26 引用 • 66 回帖 • 536 关注
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用 • 1 关注
  • PWA

    PWA（Progressive Web App）是 Google 在 2015 年提出、2016 年 6 月开始推广的项目。它结合了一系列现代 Web 技术，在网页应用中实现和原生应用相近的用户体验。

    14 引用 • 69 回帖 • 154 关注

最新标签