登录 注册

同步出现了很多重复文件

本贴最后更新于 325 天前，其中的信息可能已经时异事殊

我看那个时间点，应该是断过一次网。

不知道为什么，断网之后，为什么出现了很多同名文件，ID 不一样了。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    23019 引用 • 92592 回帖
上海 位置
11 回帖
6
5
438 164 11 241 9 8

相关帖子

11 回帖
同步出现了很多重复文件

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 88250 • • 7 评论
    订阅者 MOD

    同步过程中断网或者其他意外情况不会造成数据重复或者损坏的。

    重复的文档应该是因为生成了冲突文件，请参考 用户指南 - 数据安全 - 数据可用性保障 - 云端同步 章节。

    目前我正在找，唉，大概多了 500 个文件
    moohadun •
    能给增加配置，比如，冲突文件自动生成的，带有【冲突文件】后缀这样吗？不然我也不知道自动生成的冲突文件，区别。
    moohadun •
    @moohadun 冲突文档的文档名上默认会添加 Conflicted 的（也就是你所说的“冲突”）
    JeffreyChen •
    你们的同步逻辑有问题吧。我发现今中午又产生了 500 个文件。
    moohadun •
    @moohadun 同步逻辑没有问题的，请参考用户指南云端同步章节，那里有冲突场景介绍。
    88250 •
    没有产生同步文件。 没有出现默认 Conflicted 的文件。 你去复现一下，将一个文档移动到另一个文件夹中。是不是会出现新文档
    moohadun •
    复现的条件，应该是有很多的文档时，将一个父文档移动到另一个地方，云端同步了，你们的本地数据写的不及时，然后与云端比较不一致导致的 。
    moohadun •
  • 其他回帖
  • 88250 • • 1 评论
    订阅者 MOD

    1 月 31 号 19:32 校验索引时发现了 221 个 ID 重复的文档：

    W 2024/01/31 19:32:36 index_fix.go:128: exist more than one tree duplicated [221], reindex it

    往前看可以找到是从 Android 端同步过来的：

    I 2024/01/31 19:13:39 siyuan.go:138: downloaded object [siyuan/1642173161657/repo/siyuan-note-wei/indexes/2b2524e142b3371892a71743d9f824a018d675a3]
I 2024/01/31 19:13:39 sync.go:1592: got cloud latest [device=ec69xd57s31n/android, id=2b2524e142b3371892a71743d9f824a018d675a3, files=8662, size=1.6 GB, created=2024-01-31 18:40:09]

    Android 端的这个快照 2b2524e 有 8662 个文件。以 ID 重复的 20240110112136-hmzri1c.sy 为例，可以看到在本地的路径是：/20240110224850-mj5s0a2/20240111162221-s1f6o2h/20240110112136-hmzri1c.sy，但是 Android 端的路径是 /20240110224850-mj5s0a2/20240110112136-hmzri1c.sy，中间少了一层，这种情况下文件路径不同，所以不会自动合并，而是将 Android 的文件下载到本地，导致本地存在了两个一样 ID 的文档。

    继续往前追溯 Android 端同步，可以找到 1 月 30 号的同步：

    I 2024/01/30 09:35:00 sync.go:1592: got cloud latest [device=ec69xd57s31n/android, id=8638d653e54c7863c2a04ab62e4564b2faf74591, files=8412, size=1.6 GB, created=2024-01-30 09:34:58]

    这时候 Android 端快照 8638d65 文件数量是 8412，也就是说这段时间内 Android 端增加了 250 个文件，这些文件是其他端同步过去的还是如何新增的，需要 Android 端的日志才能进一步分析了，可能就是这些文件重复导致的问题，请上传 Android 端的日志，谢谢。

    1、安卓日志已经上传；2、你们肯定考虑了同步文件的时候，发生了文档移动的情况（不限于跨文件夹移动）；3、可否告知“中间少了一层，这种情况下文件路径不同，所以不会自动合并”这个逻辑是为了哪种场景。4、还有就是我删除多个文件夹后来又出现了。不知道为啥，甚至删不掉，我只能手动清空文件系统
    moohadun •
  • 88250 • • 2 评论
    订阅者 MOD

    这份 macOS 端的日志 1 月 30 号 12 点进行了一次全量下载，文件没有重复，也没有其他异常。

    文件路径不同的话肯定就是不同的文件了。

    我又在 PC 端日志中搜索了下，发现 /20240110224850-mj5s0a2/20240111162221-s1f6o2h/20240110112136-hmzri1c.sy 文件第一次出现是在 1 月 31 号 15 点 16 分：

    I 2024/01/31 15:16:54 sync.go:1336: upsert file [7d95d3f1adae4694dadffa6539b88e8e9456bb7f, /20240110224850-mj5s0a2/20240111162221-s1f6o2h/20240110112136-hmzri1c.sy, 2024-01-10 11:22:07] chunk [9670d894d23a470a0eb384536cb3b690d2650dc0]

    这个文件最后的更新时间是 2024-01-10 11:22:07，后面也也只没有变动过，只是云端一直都存在 /20240110224850-mj5s0a2/20240110112136-hmzri1c.sy，所以文件就重复了。

    那我也不懂了。我这个情况出现的还是挺多的。好像最近这几个月都有过，只不过，我这次因为重复的太多了，我才提。会不会是因为我的文档太多了呢
    moohadun •
    @moohadun 那就只能继续观察了，麻烦留意重现步骤。我这边在 10000+ 文档的数据集下测试移动文档暂时没有发现重复问题。
    88250 •
  • moohadun • • 1 • 2 评论
    订阅者 付费者 支持者 作者

    @88250

    systemlogmac.zip

    systemlog 安卓.zip

    1 回复
    旧的 ID 信息———((20231119192606-jxpmujz '任务管理'))；((20231122104908-bg77jgx '项目管理'))
    moohadun •
    新的 ID 信息 任务管理](siyuan://blocks/20240326165050-tsnl9rk)；项目管理](siyuan://blocks/20240326165050-vptp2gj)
    moohadun •
  • 查看全部回帖
moohadun
上海
回帖
81
 帖子
45
 积分
4797

近期热议

推荐标签 标签

  • Solidity

    Solidity 是一种智能合约高级语言，运行在 [以太坊] 虚拟机（EVM）之上。它的语法接近于 JavaScript，是一种面向对象的语言。

    3 引用 • 18 回帖 • 401 关注
  • MySQL

    MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 是最流行的关系型数据库管理系统之一。

    692 引用 • 535 回帖
  • 小说

    小说是以刻画人物形象为中心，通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖
  • V2EX

    V2EX 是创意工作者们的社区。这里目前汇聚了超过 400,000 名主要来自互联网行业、游戏行业和媒体行业的创意工作者。V2EX 希望能够成为创意工作者们的生活和事业的一部分。

    17 引用 • 236 回帖 • 316 关注
  • 前端

    前端技术一般分为前端设计和前端开发，前端设计可以理解为网站的视觉设计，前端开发则是网站的前台代码实现，包括 HTML、CSS 以及 JavaScript 等。

    247 引用 • 1348 回帖 • 1 关注
  • SSL

    SSL（Secure Sockets Layer 安全套接层），及其继任者传输层安全（Transport Layer Security，TLS）是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 418 关注
  • jsDelivr

    jsDelivr 是一个开源的 CDN 服务，可为 npm 包、GitHub 仓库提供免费、快速并且可靠的全球 CDN 加速服务。

    5 引用 • 31 回帖 • 72 关注
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议，它实现了浏览器与服务器之间的全双工通信（full-duplex）。

    48 引用 • 206 回帖 • 318 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架，使用 Node.js 编写。

    21 引用 • 140 回帖 • 3 关注
  • Ant-Design

    Ant Design 是服务于企业级产品的设计体系，基于确定和自然的设计价值观上的模块化解决方案，让设计者和开发者专注于更好的用户体验。

    17 引用 • 23 回帖 • 4 关注
  • HHKB

    HHKB 是富士通的 Happy Hacking 系列电容键盘。电容键盘即无接点静电电容式键盘（Capacitive Keyboard）。

    5 引用 • 74 回帖 • 478 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库，专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 76 关注
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统（DBMS），它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的，并于 1988 年推出了第一个 OS/2 版本。

    21 引用 • 31 回帖 • 5 关注
  • Unity

    Unity 是由 Unity Technologies 开发的一个让开发者可以轻松创建诸如 2D、3D 多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。

    25 引用 • 7 回帖 • 158 关注
  • 安全

    安全永远都不是一个小问题。

    200 引用 • 816 回帖
  • 架构

    我们平时所说的“架构”主要是指软件架构，这是有关软件整体结构与组件的抽象描述，用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    142 引用 • 442 回帖 • 1 关注
  • Gzip

    gzip （GNU zip）是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件，它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式，或者说一种文件格式。

    9 引用 • 12 回帖 • 147 关注
  • API

    应用程序编程接口（Application Programming Interface）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

    77 引用 • 430 回帖
  • Lute

    Lute 是一款结构化的 Markdown 引擎，支持 Go 和 JavaScript。

    26 引用 • 196 回帖 • 17 关注
  • Openfire

    Openfire 是开源的、基于可拓展通讯和表示协议 (XMPP)、采用 Java 编程语言开发的实时协作服务器。Openfire 的效率很高，单台服务器可支持上万并发用户。

    6 引用 • 7 回帖 • 101 关注
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态；标准是由主流手机厂商组成的快应用联盟联合制定；快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台；以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖
  • jsoup

    jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

    6 引用 • 1 回帖 • 484 关注
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 26 关注
  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器，在 1999 年被捐献给 ASF（Apache Software Foundation），隶属于 Jakarta 项目，现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范，同时也提供 HTTP 服务，是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖 • 3 关注
  • 倾城之链
    23 引用 • 66 回帖 • 138 关注
  • 心情

    心是产生任何想法的源泉，心本体会陷入到对自己本体不能理解的状态中，因为心能产生任何想法，不能分出对错，不能分出自己。

    59 引用 • 369 回帖
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器，详细介绍请看 将 Java Swing 应用变成 Web 应用 。

    1 引用 • 15 回帖 • 637 关注

最新标签