登录 注册

自建 alist 的 s3 服务用来同步思源时不时有报错

将本机存储的路径映射为 s3 服务后，使用思源笔记进行同步。同步过程中偶尔会有截图的报错，而在使用 数据历史-数据快照-云端快照时，这个报错能稳定复现
image.png

下面是思源列出云端快照时 nginx 记录的请求日志

报错时只有这一条，但是是 200 的响应，好奇怪
192.168.1.3 - - [17/Feb/2025:12:07:05 +0000] "GET /test_1/repo/indexes-v2.json?response-cache-control=no-cache&x-id=GetObject HTTP/1.1" 200 263 "-" "aws-sdk-go-v2/1.36.1 ua/2.1 os/windows lang/go#1.23.4 md/GOOS#windows md/GOARCH#amd64 api/s3#1.76.1 m/E,c"

这是思源的日志报错

sync.go:636: update cloud indexes failed: invalid input: magic number mismatch
sync.go:1182: uploaded index [device=55fb8cc9-2600-4914-90a5-a09206b9da00/windows, id=3c2e14a462e10ada0d939d11e99373fe810ec698, files=566, size=65.65 MB, created=2025-02-17 19:11:39]
sync.go:915: uploaded cloud ref [refs/latest, id=3c2e14a462e10ada0d939d11e99373fe810ec698]
sync.go:506: update cloud indexes failed: invalid input: magic number mismatch
sync.go:426: merge sync failed: invalid input: magic number mismatch
repository.go:1458: sync data repo failed: invalid input: magic number mismatch
sync.go:654: sync failed caused by network: invalid input: magic number mismatch
repository.go:1430: syncing data repo [device=55fb8cc9-2600-4914-90a5-a09206b9da00, kernel=d3m2wst, provider=2, mode=a/true]
repo.go:661: walk data [files=566] cost [34.1757ms]
ref.go:134: got local full latest [files=566, size=106 kB], cost [513.3µs]
sync.go:1608: got cloud latest [device=55fb8cc9-2600-4914-90a5-a09206b9da00/windows, id=3c2e14a462e10ada0d939d11e99373fe810ec698, files=566, size=65.65 MB, created=2025-02-17 19:11:39], cost [27.0746ms]
repository.go:1502: synced data repo [device=55fb8cc9-2600-4914-90a5-a09206b9da00, kernel=d3m2wst, provider=2, mode=a/true, ufc=0, dfc=1, ucc=0, dcc=0, ub=0 B, db=24.65 kB] in [0.16s], merge result [conflicts=0, upserts=0, removes=0]
​

有没有人遇到过类似的问题

似乎找到原因了，使用 alist 自建 s3 服务时，思源上的配置不能用 virtual-hosted-style，得用 path-style，后边在用 cloudflare r2 新建新的桶的时候提示我不能用下划线“_”,才意识到七牛云、cloudflare 这些都是用的 virtual-hosted-style，存储通的名字是在域名上的 bucket1.s3.domain.com ，而不是在 path 中 s3.domain.com/bucket1 这样。这样就导致了一个问题，思源配置的时候不提示非法，在遇到我这种情况 test_1.s3.domain.com 的时候 test_1 是非法的（域名中不能存在下划线），自动使用了 path-style 去访问服务就成了这样 s3.domain.com/test_1，但具体是啥原因导致时不时能同步，但列出快照的时候稳定报错可能就要看代码是咋写的了

image.png

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    24764 引用 • 101800 回帖
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    9382 引用 • 42757 回帖 • 112 关注
1 操作
Kevinsy 在 2025-02-17 21:59:28 更新了该帖
杭州 位置
1 操作
8 回帖
4
2
282 122 1 37 122

相关帖子

8 回帖
自建 alist 的 s3 服务用来同步思源时不时有报错

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • JeffreyChen •
    付费者 支持者 捐赠者

    有更新到 3.1.22 吗？

    1 回复
  • stevehfut •
    付费者

    将本机存储的路径映射为 s3 服务后

    如果要把同步数据保存在本地的话，用新出的那个功能特性比较方便吧

    1 回复
  • Kevinsy •
    付费者 作者

    我似乎已经找到原因了，不过想请教一下，新出的功能特性是指什么？

    1 回复
  • Kevinsy •
    付费者 作者

    已经更新到这个版本了，我似乎已经解决了，具体写在上面了

  • stevehfut •
    付费者

    image.png

    1 回复
  • Kevinsy •
    付费者 作者

    alist 挂了网盘，思源同步的数据本身是加密的，还是上云保险点，而且容量更多

  • ltrump • via Linux
    付费者

    用了一段时间的 alist 挂网盘 s3，又换回 minio 了，主要有以下问题：

    • 同步比常规 s3 存储慢
    • 遇到了一次云端数据损坏（我换回去的主要原因）

    建议自己有服务器的还是搭个 minio 吧，备份问题我目前是用 alist s3/webdav + kopia/rustic 备份到云端，kopia/rustic 作为专门用于备份的工具提供增量备份和快照，安全性也更高一些。目前自己用的是 alist s3 + kopia

    1 回复
  • Kevinsy •
    付费者 作者

    感谢提供的方案，我研究下

请输入回帖内容 ...
Kevinsy
杭州
回帖
4
 帖子
1
 积分
574

近期热议

推荐标签 标签

  • Flume

    Flume 是一套分布式的、可靠的，可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 651 关注
  • Docker

    Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的操作系统上。容器完全使用沙箱机制，几乎没有性能开销，可以很容易地在机器和数据中心中运行。

    494 引用 • 928 回帖
  • 倾城之链
    23 引用 • 66 回帖 • 157 关注
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据（或者事件）流的 API。它组合了观察者模式，迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 175 关注
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大，比用其他编程程序编辑的程序效率更高，因为它使用了 Linux/Unix 下的命令。

    124 引用 • 74 回帖
  • flomo

    flomo 是新一代 「卡片笔记」 ，专注在碎片化时代，促进你的记录，帮你积累更多知识资产。

    6 引用 • 140 回帖
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言，内置支持类型。它的解释器被称为 JavaScript 引擎，为浏览器的一部分，广泛用于客户端的脚本语言，最早是在 HTML 网页上使用，用来给 HTML 网页增加动态功能。

    729 引用 • 1278 回帖
  • 游戏

    沉迷游戏伤身，强撸灰飞烟灭。

    180 引用 • 821 回帖
  • 微信

    腾讯公司 2011 年 1 月 21 日推出的一款手机通讯软件。用户可以通过摇一摇、搜索号码、扫描二维码等添加好友和关注公众平台，同时可以将自己看到的精彩内容分享到微信朋友圈。

    132 引用 • 796 回帖 • 1 关注
  • OpenStack

    OpenStack 是一个云操作系统，通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成，同样也可以通过 Web 接口让最终用户部署资源。

    10 引用
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起，它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖 • 2 关注
  • Netty

    Netty 是一个基于 NIO 的客户端-服务器编程框架，使用 Netty 可以让你快速、简单地开发出一个可维护、高性能的网络应用，例如实现了某种协议的客户、服务端应用。

    49 引用 • 33 回帖 • 32 关注
  • 友情链接

    确认过眼神后的灵魂连接，站在链在！

    24 引用 • 373 回帖
  • IBM

    IBM（国际商业机器公司）或万国商业机器公司，简称 IBM（International Business Machines Corporation），总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国，是全球最大的信息技术和业务解决方案公司，拥有全球雇员 30 多万人，业务遍及 160 多个国家和地区。

    17 引用 • 53 回帖 • 146 关注
  • Quicker

    Quicker 您的指尖工具箱！操作更少，收获更多！

    36 引用 • 155 回帖
  • 禅道

    禅道是一款国产的开源项目管理软件，她的核心管理思想基于敏捷方法 scrum，内置了产品管理和项目管理，同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能，在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来，完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 39 关注
  • OnlyOffice
    4 引用 • 22 关注
  • Ngui

    Ngui 是一个 GUI 的排版显示引擎和跨平台的 GUI 应用程序开发框架，基于
    Node.js / OpenGL。目标是在此基础上开发 GUI 应用程序可拥有开发 WEB 应用般简单与速度同时兼顾 Native 应用程序的性能与体验。

    7 引用 • 9 回帖 • 399 关注
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 45 关注
  • Electron

    Electron 基于 Chromium 和 Node.js，让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目，兼容 Mac、Windows 和 Linux，它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖 • 8 关注
  • 外包

    有空闲时间是接外包好呢还是学习好呢？

    26 引用 • 233 回帖
  • 机器学习

    机器学习（Machine Learning）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

    83 引用 • 37 回帖
  • TensorFlow

    TensorFlow 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。

    20 引用 • 19 回帖 • 1 关注
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具，主要功能包括：位置相关的内容递送；用户认证和授权；集中式网络监控。

    1 引用 • 7 回帖 • 608 关注
  • Hibernate

    Hibernate 是一个开放源代码的对象关系映射框架，它对 JDBC 进行了非常轻量级的对象封装，使得 Java 程序员可以随心所欲的使用对象编程思维来操纵数据库。

    39 引用 • 103 回帖 • 718 关注
  • 人工智能

    人工智能（Artificial Intelligence）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    157 引用 • 290 回帖
  • 锤子科技

    锤子科技（Smartisan）成立于 2012 年 5 月，是一家制造移动互联网终端设备的公司，公司的使命是用完美主义的工匠精神，打造用户体验一流的数码消费类产品（智能手机为主），改善人们的生活质量。

    4 引用 • 31 回帖 • 7 关注

最新标签