更新到 v3.1.17 后 S3 同步错误

截屏 2024122812.45.15.png

系统是 MacOS M1,和之前的版本一样更新,未对 S3 配置做任何修改,并且其它设备 3.1.16 的版本同步正常,是阿里云的桶。不知道有人遇到一样的问题吗,有解决方案吗?谢谢 ~

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    25278 引用 • 104297 回帖
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    9659 引用 • 43938 回帖 • 90 关注

相关帖子

被采纳的回答
优质回帖
  • Whacka 1 赞同 via macOS

    感谢测试,我感觉从反馈信息来看应该是前后端计算签名的方法或者参数不一致导致的,比如签名公式的版本(v4?)。

  • lundqhx 1

    我根据这篇博文和 minio 官方文档设置了 Nginx 的相关配置,还是不行。

    我也用了 cloudFlare 管理域名,然后我把 minio api 的子域名的 proxy(橙色云)关闭之后,就可以正常同步了!

  • Whacka 1 via macOS

    使命感油然而生,然而我折腾了几天之后还是决定放弃了,我改用 CloudFlare R2 作为主要同步服务器,群晖上用 rclone 定期同步数据做备份。

    我的环境:

    服务器:群晖 Docker MinIO(还是 24 年中的版本,Docker Hub 被禁用之后我不会升级版本。。。),没有公网 ip 所以选择 CloudFlare Tunnel 做内网穿透。

    客户端:MacBookPro Intel 版本,思源 3.1.18。

    我的一些观察:

    1. 我 blame 了一下思源里 S3 获取 Buckets 列表相关的代码,这部分于 2 周前更新了亚马逊的 sdk v2 版本。在亚马逊的 github 里看到 ListBuckets 函数调用了 c 的函数,具体的签名过程我不知道从哪里查看。
    2. 在 CloudFlare Tunnel 的监听界面里可以获取到访问记录的 http url 和 headers,我对比了 3.1.17 和 3.1.16(iOS)点击“设置”时访问的获取 Buckets 列表操作的记录,发现 url 有比较大的不同,3.1.17 的 url 是 GET https://minioapi.example.com/?x-id=ListBuckets HTTP/1.1,而 3.1.16 则是 GET https://minioapi.example.com/ HTTP/1.1;headers 内容略有不同,但其中非常关键的信息是 X-Amz-Date(例如 20241231T133058Z),这是一个 UTC 时间精确到秒,在相关文档里明确说了这条目是签名认证的关键信息,我用 CloudFlare Rules 调整了一下这个时间果然得到了明确的新的错误信息(格式不正确,或者时间相差太多),但这个条目与我遇到的问题应该没啥关系,因为两个版本发送的 header 里都有它。另一个关键的 header 就是 X-Forwarded-For,然而 CloudFlare Rules 里不允许修改这条的内容,因此我无法确认是否因为 CloudFlare 在代理转发过程中篡改了内容导致签名失败。

    image.png

    image.png

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 阿里云的 regoin 根据阿里云帮助文档修改, 一般是什么 cn-beijing 之类的,别写中文。

  • muweize 1 评论

    +1 求助

    muweize
  • Whacka 1 评论 via macOS

    +1,我的是自家的 minio S3,地区我自己填的 zh_cn,之前只要服务器和客户端能对上就行,更新之后的提示和你的一样。

    更新之前还测试过可以同步,更新后马上就失效了。

    1 回复
    minio 和思源都改成 cn-beijing 之后还是有报错: operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 18155E8E4B17xxxx, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2xxxx, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)
    Whacka
  • 88250

    MinIO 的话 Region 填 us-east-1

    1 回复
  • Whacka via macOS

    感谢,试了修改 minio 服务器 Region 为 us-east-1,思源里也同步修改,点击云端同步设置的按钮,依然这个错误:

    • operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 18155F8868F8569E, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)
    1 回复
  • 88250

    服务器端不要改,用默认的。

    2 回复
  • Whacka via macOS

    MinIO VERSION 2024-06-26T01:06:18Z

    已将服务器 Location 恢复默认值:

    image.png

    思源这个设置,依然是刚刚的错误:

    image.png

    1 回复
  • 88250

    能升级 MinIO 的话升级看看,我这边测试过最新版没有问题。

    1 回复
  • Whacka via macOS

    收到,我试试看

    1 回复
  • ilovewithu via macOS

    minio 更新后,有同步成功吗

    1 回复
  • Whacka via macOS

    我用群晖 Container Manager 部署的 MinIO,想要下载新版但 Docker Hub 无法访问。。。卡住了

  • lundqhx

    我也出现同样的问题。已经升级为最新的 minio 版本。同时地区也设置为默认的 us-east-1

    image.png

    1 回复
  • 那个地址那 path-style 换 v 那个试试吧。另外就是注意一下升级后 key 有没有变化

    1 回复
  • lundqhx

    感谢回复。试了一下换成 virtual-hosted-style,还是不行。我又重新生成了一个 key,还是出现同样的错误。。。

    operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 1815ED86DD66ED94, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)

    我感觉应该是 Secret key 没有被正确传进去,毕竟配置不变,降级成 3.1.16 就完全没问题

    1 回复
  • Whacka 1 赞同 via macOS

    感谢测试,我感觉从反馈信息来看应该是前后端计算签名的方法或者参数不一致导致的,比如签名公式的版本(v4?)。

  • Whacka via macOS

    找到一篇博文, 可能说明了为啥会签名失败:

    https://blog.csdn.net/cucgyfjklx/article/details/133165964

    大意是通过 Nginx 反代了 MinIO 的服务后会因为 ip 的变更导致前后端计算签名的参数(ip)不一致。

    我不是很懂 Nginx 和相关技术,我使用的是 CF 的 Tunnel 方案,也许有类似的问题。

    1 回复
  • lundqhx 1

    我根据这篇博文和 minio 官方文档设置了 Nginx 的相关配置,还是不行。

    我也用了 cloudFlare 管理域名,然后我把 minio api 的子域名的 proxy(橙色云)关闭之后,就可以正常同步了!

    2 回复
  • Whacka via macOS

    请问 cf 的 proxy 是指什么呢?有没有相关的指导文档呢,非常感谢!

    1 回复
  • awatar 1 评论

    同样用 cf , 更新 17 之后不能用,折腾一天了 😭

    先退回 3.1.16 版本,可同步了;17 版本应该修改什么 S3 同步参数,但当前 minio 版本不匹配;建议 siyuan 放开更多 s3 云同步参数可设置。先观望吧,解决了再升级新版本。
    awatar 1 赞同
  • ilovewithu via macOS

    牛逼,确实关了小黄云可以同步了

    1 回复
  • awatar

    测试 3.1.18 也不行,继续退回 3.1.16

    1 回复
  • 88250

    不要回退版本了,建议参考一下其他人的经验进行配置,谢谢。

  • lundqhx

    在 DNS -> Record 里面,把 minio 域名对应的 Proxy Status 改成 DNS only 就可以了

    image.png

    1 回复
  • Whacka via macOS

    我关闭了 minioapi 子域名的小黄云,过了几分钟后思源无法连接服务器了。。。

  • Whacka via macOS

    谢谢,我的方案是 CF Tunnel,所以这里类型不是 A 而是 CNAME,关闭小黄云后直接无法访问了。我猜你的是公网 ip 的方案所以正常?

    image.png

    1 回复
  • 88250

    千万不要启用 CDN,否则会影响数据同步的一致性。

    1 回复
  • Whacka via macOS

    我用 CF Tunnel,请问你说的不启用 CDN 是指关闭 Cache 吗?我试着关闭了 Cache 还是签名不匹配。

    image.png

    1 回复
  • 88250

    不要对 S3 存储使用任何 CDN,否则数据会被缓存,导致索引对比出现异常。

    2 回复
  • Whacka via macOS

    明白了,但我尝试在 CF Bypass 所有缓存,依然得到之前的结果(签名不匹配)。

    image.png

    1 回复
  • Whacka via macOS

    谢谢,我在这个方向研究一下

    1 回复
  • 88250

    解决的话麻烦分享一下方案 🙏

    1 回复
  • vvfree

    我是不同版本的都通过 minio 同步,都成功,家里自建软路由做的服务器,挺正常,自己配的参数都很随意,移动端和 pc 是 3.17,docker 还是非常早的 3.1.6

  • Whacka 1 via macOS

    使命感油然而生,然而我折腾了几天之后还是决定放弃了,我改用 CloudFlare R2 作为主要同步服务器,群晖上用 rclone 定期同步数据做备份。

    我的环境:

    服务器:群晖 Docker MinIO(还是 24 年中的版本,Docker Hub 被禁用之后我不会升级版本。。。),没有公网 ip 所以选择 CloudFlare Tunnel 做内网穿透。

    客户端:MacBookPro Intel 版本,思源 3.1.18。

    我的一些观察:

    1. 我 blame 了一下思源里 S3 获取 Buckets 列表相关的代码,这部分于 2 周前更新了亚马逊的 sdk v2 版本。在亚马逊的 github 里看到 ListBuckets 函数调用了 c 的函数,具体的签名过程我不知道从哪里查看。
    2. 在 CloudFlare Tunnel 的监听界面里可以获取到访问记录的 http url 和 headers,我对比了 3.1.17 和 3.1.16(iOS)点击“设置”时访问的获取 Buckets 列表操作的记录,发现 url 有比较大的不同,3.1.17 的 url 是 GET https://minioapi.example.com/?x-id=ListBuckets HTTP/1.1,而 3.1.16 则是 GET https://minioapi.example.com/ HTTP/1.1;headers 内容略有不同,但其中非常关键的信息是 X-Amz-Date(例如 20241231T133058Z),这是一个 UTC 时间精确到秒,在相关文档里明确说了这条目是签名认证的关键信息,我用 CloudFlare Rules 调整了一下这个时间果然得到了明确的新的错误信息(格式不正确,或者时间相差太多),但这个条目与我遇到的问题应该没啥关系,因为两个版本发送的 header 里都有它。另一个关键的 header 就是 X-Forwarded-For,然而 CloudFlare Rules 里不允许修改这条的内容,因此我无法确认是否因为 CloudFlare 在代理转发过程中篡改了内容导致签名失败。

    image.png

    image.png

    1 回复
  • awatar
    1. X-Amz-Date 这个应该是参与到签名计算过程中,时间不一样签名肯定不一致,除非 CF 不缓存,关闭小黄云;但大家开启小黄云是有自己的应用场景的,比如我是办公场所没有 IPV6 环境,家里没有 IPV4 公网 IP,所以需要 CF 代理一下,关闭小黄云直接连接不了了;
    2. X-Forwarded-For 之类报文头,需要付费计划才能在规则里修改;由于上边时间不一致,估计也不管用;
    3. CF 官方抢到了 cloud connecter 服务,我看了看,主要是连接 S3 的,但只支持自家和亚马孙、微软、谷歌。想必 CF 官方也清楚 CDN 不能支持 S3 V4 版本的代理,所以才推出了云直联服务;
    4. 解决办法:
      1. 继续用 16 版本,在版本没有大变化前提,能继续用一段时间;
      2. 家里 NAS 想办法获得公网 IPV4,不用 CF 代理改用直联;
      3. 改用公网云服务,阿里、腾讯、七牛或其它;
      4. 改用 docker 自建的 siyuan,远程访问网页版,虽然 CF 代理影响 S3 同步,但不影响纯网页的浏览。🎉
  • Whacka via macOS

    不太死心,研究了几天之后还是失败了,但了解到了一些信息,作为成果讨论一下,由于和本帖的问题不太一样,单独开了一帖:

    v3.1.17 或更高版本通过 CloudFlare Tunnel 访问 MinIO S3 提示 SignatureMismatch 问题的一些研究

  • @88250 D 大刚看到您贴内答复的这个问题,这个请问我使用的 minio S3,去 minio 控制台哪里能看到配置使用没使用 CDN?请 D 大给指导下,以免在使用各端的思源时造成不必要的数据异常,感谢!

请输入回帖内容 ...

推荐标签 标签

  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    12 引用 • 5 回帖 • 633 关注
  • V2Ray
    1 引用 • 15 回帖 • 1 关注
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用
  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    93 引用 • 113 回帖
  • 正则表达式

    正则表达式(Regular Expression)使用单个字符串来描述、匹配一系列遵循某个句法规则的字符串。

    31 引用 • 94 回帖
  • Chrome

    Chrome 又称 Google 浏览器,是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写,包括 WebKit,目标是提升稳定性、速度和安全性,并创造出简单且有效率的使用者界面。

    63 引用 • 289 回帖 • 1 关注
  • Bootstrap

    Bootstrap 是 Twitter 推出的一个用于前端开发的开源工具包。它由 Twitter 的设计师 Mark Otto 和 Jacob Thornton 合作开发,是一个 CSS / HTML 框架。

    18 引用 • 33 回帖 • 645 关注
  • GAE

    Google App Engine(GAE)是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 813 关注
  • 链书

    链书(Chainbook)是 B3log 开源社区提供的区块链纸质书交易平台,通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书,我们共同构建这个全新的交易平台,让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线,也许以后还有计划重制上线。

    14 引用 • 257 回帖 • 1 关注
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    211 引用 • 358 回帖
  • 区块链

    区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法 。

    92 引用 • 752 回帖 • 1 关注
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务,可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务,所以该项目也已经停止维护了!

    35 引用 • 468 回帖 • 760 关注
  • OpenResty

    OpenResty 是一个基于 NGINX 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

    17 引用 • 56 关注
  • jsoup

    jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。

    6 引用 • 1 回帖 • 486 关注
  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖 • 7 关注
  • Sandbox

    如果帖子标签含有 Sandbox ,则该帖子会被视为“测试帖”,主要用于测试社区功能,排查 bug 等,该标签下内容不定期进行清理。

    431 引用 • 1250 回帖 • 597 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统,最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统,最初是设计给 iPhone 使用的,后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样,属于类 Unix 的商业操作系统。

    89 引用 • 150 回帖
  • 分享

    有什么新发现就分享给大家吧!

    248 引用 • 1794 回帖 • 1 关注
  • 一些有用的避坑指南。

    69 引用 • 93 回帖 • 2 关注
  • Rust

    Rust 是一门赋予每个人构建可靠且高效软件能力的语言。Rust 由 Mozilla 开发,最早发布于 2014 年 9 月。

    58 引用 • 22 回帖 • 4 关注
  • gRpc
    11 引用 • 9 回帖 • 93 关注
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”,乌云众测平台认证的“安全云”,为移动时代的创业者提供新一代的 CDN 加速服务。

    20 引用 • 37 回帖 • 574 关注
  • 开源

    Open Source, Open Mind, Open Sight, Open Future!

    411 引用 • 3588 回帖
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统,主要使用于便携设备。2005 年由 Google 收购注资,并拉拢多家制造商组成开放手机联盟开发改良,逐渐扩展到到平板电脑及其他领域上。

    335 引用 • 324 回帖 • 3 关注
  • H2

    H2 是一个开源的嵌入式数据库引擎,采用 Java 语言编写,不受平台的限制,同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式,可以兼容一些主流的数据库,因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 666 关注
  • Hprose

    Hprose 是一款先进的轻量级、跨语言、跨平台、无侵入式、高性能动态远程对象调用引擎库。它不仅简单易用,而且功能强大。你无需专门学习,只需看上几眼,就能用它轻松构建分布式应用系统。

    9 引用 • 17 回帖 • 632 关注
  • Google

    Google(Google Inc.,NASDAQ:GOOG)是一家美国上市公司(公有股份公司),于 1998 年 9 月 7 日以私有股份公司的形式创立,设计并管理一个互联网搜索引擎。Google 公司的总部称作“Googleplex”,它位于加利福尼亚山景城。Google 目前被公认为是全球规模最大的搜索引擎,它提供了简单易用的免费服务。不作恶(Don't be evil)是谷歌公司的一项非正式的公司口号。

    49 引用 • 192 回帖 • 1 关注