登录 注册

更新到 v3.1.17 后 S3 同步错误

本贴最后更新于 359 天前，其中的信息可能已经时移俗易

截屏 2024122812.45.15.png

系统是 MacOS M1，和之前的版本一样更新，未对 S3 配置做任何修改，并且其它设备 3.1.16 的版本同步正常，是阿里云的桶。不知道有人遇到一样的问题吗，有解决方案吗？谢谢 ～

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    28446 引用 • 119786 回帖
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    11155 引用 • 50666 回帖 • 52 关注
2 引用
思源笔记用户常见问题（25 年 5 月 21 日更新 Mac 获取内核问题） • mozhu
v3.1.17 锁定云端同步目录失败，糟心的多端同步总出问题 • JeffreyChen
重庆 位置
20 悬赏
1 关注
2 引用
39 回帖
15
4
2
2
2
2.6k 335 32 907 7 1.3k

相关帖子

被采纳的回答
优质回帖
  • Whacka • • 1 赞同
    付费者 捐赠者

    感谢测试，我感觉从反馈信息来看应该是前后端计算签名的方法或者参数不一致导致的，比如签名公式的版本（v4？）。

  • lundqhx • • 1
    付费者

    我根据这篇博文和 minio 官方文档设置了 Nginx 的相关配置，还是不行。

    我也用了 cloudFlare 管理域名，然后我把 minio api 的子域名的 proxy（橙色云）关闭之后，就可以正常同步了！

  • Whacka • • 1
    付费者 捐赠者

    使命感油然而生，然而我折腾了几天之后还是决定放弃了，我改用 CloudFlare R2 作为主要同步服务器，群晖上用 rclone 定期同步数据做备份。

    我的环境：

    服务器：群晖 Docker MinIO（还是 24 年中的版本，Docker Hub 被禁用之后我不会升级版本。。。），没有公网 ip 所以选择 CloudFlare Tunnel 做内网穿透。

    客户端：MacBookPro Intel 版本，思源 3.1.18。

    我的一些观察：

    1. 我 blame 了一下思源里 S3 获取 Buckets 列表相关的代码，这部分于 2 周前更新了亚马逊的 sdk v2 版本。在亚马逊的 github 里看到 ListBuckets 函数调用了 c 的函数，具体的签名过程我不知道从哪里查看。
    2. 在 CloudFlare Tunnel 的监听界面里可以获取到访问记录的 http url 和 headers，我对比了 3.1.17 和 3.1.16（iOS）点击“设置”时访问的获取 Buckets 列表操作的记录，发现 url 有比较大的不同，3.1.17 的 url 是 GET https://minioapi.example.com/?x-id=ListBuckets HTTP/1.1，而 3.1.16 则是 GET https://minioapi.example.com/ HTTP/1.1；headers 内容略有不同，但其中非常关键的信息是 X-Amz-Date（例如 20241231T133058Z），这是一个 UTC 时间精确到秒，在相关文档里明确说了这条目是签名认证的关键信息，我用 CloudFlare Rules 调整了一下这个时间果然得到了明确的新的错误信息（格式不正确，或者时间相差太多），但这个条目与我遇到的问题应该没啥关系，因为两个版本发送的 header 里都有它。另一个关键的 header 就是 X-Forwarded-For，然而 CloudFlare Rules 里不允许修改这条的内容，因此我无法确认是否因为 CloudFlare 在代理转发过程中篡改了内容导致签名失败。

    image.png

    image.png

39 回帖
更新到 v3.1.17 后 S3 同步错误

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • mozhu •
    订阅者 付费者 支持者 捐赠者

    阿里云的 regoin 根据阿里云帮助文档修改， 一般是什么 cn-beijing 之类的，别写中文。

  • muweize • • 1 评论
    付费者

    +1 求助

    可以了，Regoin 我的改 oss 地域 ID 可以了 https://help.aliyun.com/zh/oss/user-guide/regions-and-endpoints?utm_source=ld246.com
    muweize •
  • Whacka • • 1 评论
    付费者 捐赠者

    +1，我的是自家的 minio S3，地区我自己填的 zh_cn，之前只要服务器和客户端能对上就行，更新之后的提示和你的一样。

    更新之前还测试过可以同步，更新后马上就失效了。

    1 回复
    minio 和思源都改成 cn-beijing 之后还是有报错： operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 18155E8E4B17xxxx, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2xxxx, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)
    Whacka •
  • 88250 •
    订阅者 MOD

    MinIO 的话 Region 填 us-east-1

    1 回复
  • Whacka •
    付费者 捐赠者

    感谢，试了修改 minio 服务器 Region 为 us-east-1，思源里也同步修改，点击云端同步设置的按钮，依然这个错误：

    • operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 18155F8868F8569E, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)
    1 回复
  • 88250 •
    订阅者 MOD

    服务器端不要改，用默认的。

    2 回复
  • Whacka •
    付费者 捐赠者

    MinIO VERSION 2024-06-26T01:06:18Z

    已将服务器 Location 恢复默认值：

    image.png

    思源这个设置，依然是刚刚的错误：

    image.png

    1 回复
  • 88250 •
    订阅者 MOD

    能升级 MinIO 的话升级看看，我这边测试过最新版没有问题。

    1 回复
  • Whacka •
    付费者 捐赠者

    收到，我试试看

    1 回复
  • ilovewithu •
    付费者

    minio 更新后，有同步成功吗

    1 回复
  • Whacka •
    付费者 捐赠者

    我用群晖 Container Manager 部署的 MinIO，想要下载新版但 Docker Hub 无法访问。。。卡住了

  • lundqhx •
    付费者

    我也出现同样的问题。已经升级为最新的 minio 版本。同时地区也设置为默认的 us-east-1

    image.png

    1 回复
  • mozhu •
    订阅者 付费者 支持者 捐赠者

    那个地址那 path-style 换 v 那个试试吧。另外就是注意一下升级后 key 有没有变化

    1 回复
  • lundqhx •
    付费者

    感谢回复。试了一下换成 virtual-hosted-style，还是不行。我又重新生成了一个 key，还是出现同样的错误。。。

    operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 1815ED86DD66ED94, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)

    我感觉应该是 Secret key 没有被正确传进去，毕竟配置不变，降级成 3.1.16 就完全没问题

    1 回复
  • Whacka • • 1 赞同
    付费者 捐赠者

    感谢测试，我感觉从反馈信息来看应该是前后端计算签名的方法或者参数不一致导致的，比如签名公式的版本（v4？）。

  • Whacka •
    付费者 捐赠者

    找到一篇博文， 可能说明了为啥会签名失败：

    https://blog.csdn.net/cucgyfjklx/article/details/133165964

    大意是通过 Nginx 反代了 MinIO 的服务后会因为 ip 的变更导致前后端计算签名的参数（ip）不一致。

    我不是很懂 Nginx 和相关技术，我使用的是 CF 的 Tunnel 方案，也许有类似的问题。

    1 回复
  • lundqhx • • 1
    付费者

    我根据这篇博文和 minio 官方文档设置了 Nginx 的相关配置，还是不行。

    我也用了 cloudFlare 管理域名，然后我把 minio api 的子域名的 proxy（橙色云）关闭之后，就可以正常同步了！

    2 回复
  • Whacka •
    付费者 捐赠者

    请问 cf 的 proxy 是指什么呢？有没有相关的指导文档呢，非常感谢！

    1 回复
  • awatar • • 1 评论
    付费者

    同样用 cf , 更新 17 之后不能用，折腾一天了 😭

    先退回 3.1.16 版本，可同步了；17 版本应该修改什么 S3 同步参数，但当前 minio 版本不匹配；建议 siyuan 放开更多 s3 云同步参数可设置。先观望吧，解决了再升级新版本。
    awatar • • 1 赞同
  • ilovewithu •
    付费者

    牛逼，确实关了小黄云可以同步了

    1 回复
  • awatar •
    付费者

    测试 3.1.18 也不行，继续退回 3.1.16

    1 回复
  • 88250 •
    订阅者 MOD

    不要回退版本了，建议参考一下其他人的经验进行配置，谢谢。

  • lundqhx •
    付费者

    在 DNS -> Record 里面，把 minio 域名对应的 Proxy Status 改成 DNS only 就可以了

    image.png

    1 回复
  • Whacka •
    付费者 捐赠者

    我关闭了 minioapi 子域名的小黄云，过了几分钟后思源无法连接服务器了。。。

  • Whacka •
    付费者 捐赠者

    谢谢，我的方案是 CF Tunnel，所以这里类型不是 A 而是 CNAME，关闭小黄云后直接无法访问了。我猜你的是公网 ip 的方案所以正常？

    image.png

    1 回复
  • 88250 •
    订阅者 MOD

    千万不要启用 CDN，否则会影响数据同步的一致性。

    1 回复
  • Whacka •
    付费者 捐赠者

    我用 CF Tunnel，请问你说的不启用 CDN 是指关闭 Cache 吗？我试着关闭了 Cache 还是签名不匹配。

    image.png

    1 回复
  • 88250 •
    订阅者 MOD

    不要对 S3 存储使用任何 CDN，否则数据会被缓存，导致索引对比出现异常。

    2 回复
  • Whacka •
    付费者 捐赠者

    明白了，但我尝试在 CF Bypass 所有缓存，依然得到之前的结果（签名不匹配）。

    image.png

    1 回复
  • 88250 •
    订阅者 MOD

    估计还是代理导致的签名问题 https://aws.github.io/aws-sdk-go-v2/docs/faq/#why-am-i-getting-invalid-signature-errors-when-using-an-http-proxy-with-the-sdk

    1 回复
  • Whacka •
    付费者 捐赠者

    谢谢，我在这个方向研究一下

    1 回复
  • 88250 •
    订阅者 MOD

    解决的话麻烦分享一下方案 🙏

    1 回复
  • vvfree •
    付费者

    我是不同版本的都通过 minio 同步，都成功，家里自建软路由做的服务器，挺正常，自己配的参数都很随意，移动端和 pc 是 3.17，docker 还是非常早的 3.1.6

  • Whacka • • 1
    付费者 捐赠者

    使命感油然而生，然而我折腾了几天之后还是决定放弃了，我改用 CloudFlare R2 作为主要同步服务器，群晖上用 rclone 定期同步数据做备份。

    我的环境：

    服务器：群晖 Docker MinIO（还是 24 年中的版本，Docker Hub 被禁用之后我不会升级版本。。。），没有公网 ip 所以选择 CloudFlare Tunnel 做内网穿透。

    客户端：MacBookPro Intel 版本，思源 3.1.18。

    我的一些观察：

    1. 我 blame 了一下思源里 S3 获取 Buckets 列表相关的代码，这部分于 2 周前更新了亚马逊的 sdk v2 版本。在亚马逊的 github 里看到 ListBuckets 函数调用了 c 的函数，具体的签名过程我不知道从哪里查看。
    2. 在 CloudFlare Tunnel 的监听界面里可以获取到访问记录的 http url 和 headers，我对比了 3.1.17 和 3.1.16（iOS）点击“设置”时访问的获取 Buckets 列表操作的记录，发现 url 有比较大的不同，3.1.17 的 url 是 GET https://minioapi.example.com/?x-id=ListBuckets HTTP/1.1，而 3.1.16 则是 GET https://minioapi.example.com/ HTTP/1.1；headers 内容略有不同，但其中非常关键的信息是 X-Amz-Date（例如 20241231T133058Z），这是一个 UTC 时间精确到秒，在相关文档里明确说了这条目是签名认证的关键信息，我用 CloudFlare Rules 调整了一下这个时间果然得到了明确的新的错误信息（格式不正确，或者时间相差太多），但这个条目与我遇到的问题应该没啥关系，因为两个版本发送的 header 里都有它。另一个关键的 header 就是 X-Forwarded-For，然而 CloudFlare Rules 里不允许修改这条的内容，因此我无法确认是否因为 CloudFlare 在代理转发过程中篡改了内容导致签名失败。

    image.png

    image.png

    2 回复
  • awatar •
    付费者
    1. X-Amz-Date 这个应该是参与到签名计算过程中，时间不一样签名肯定不一致，除非 CF 不缓存，关闭小黄云；但大家开启小黄云是有自己的应用场景的，比如我是办公场所没有 IPV6 环境，家里没有 IPV4 公网 IP，所以需要 CF 代理一下，关闭小黄云直接连接不了了；
    2. X-Forwarded-For 之类报文头，需要付费计划才能在规则里修改；由于上边时间不一致，估计也不管用；
    3. CF 官方抢到了 cloud connecter 服务，我看了看，主要是连接 S3 的，但只支持自家和亚马孙、微软、谷歌。想必 CF 官方也清楚 CDN 不能支持 S3 V4 版本的代理，所以才推出了云直联服务；
    4. 解决办法：
      1. 继续用 16 版本，在版本没有大变化前提，能继续用一段时间；
      2. 家里 NAS 想办法获得公网 IPV4，不用 CF 代理改用直联；
      3. 改用公网云服务，阿里、腾讯、七牛或其它；
      4. 改用 docker 自建的 siyuan，远程访问网页版，虽然 CF 代理影响 S3 同步，但不影响纯网页的浏览。🎉
  • Whacka •
    付费者 捐赠者

    不太死心，研究了几天之后还是失败了，但了解到了一些信息，作为成果讨论一下，由于和本帖的问题不太一样，单独开了一帖：

    v3.1.17 或更高版本通过 CloudFlare Tunnel 访问 MinIO S3 提示 SignatureMismatch 问题的一些研究

  • www766 •
    订阅者 捐赠者 恶龙

    @88250 D 大刚看到您贴内答复的这个问题，这个请问我使用的 minio S3，去 minio 控制台哪里能看到配置使用没使用 CDN？请 D 大给指导下，以免在使用各端的思源时造成不必要的数据异常，感谢!

  • BigXiang • • 4 评论

    看更新日志说 3.3.6 解决了？

    修的不是这个吧？好像两个版本修的是 rustfs 的兼容性
    EmptyLight •
    @EmptyLight 好像是的， 336 有 2 个关于 S3 的，下面还有个 提到了 CloudFlare Tunnel
    BigXiang •
    特地测试了一下，证实 3.3.6 解决了。
    BigXiang • • 1
    @BigXiang 了解了
    EmptyLight •
  • BigXiang •

    V3.3.6 解决了

请输入回帖内容 ...
ferencyim
重庆
回帖
0
 帖子
1
 积分
655

近期热议

推荐标签 标签

  • CSS

    CSS（Cascading Style Sheet）“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    200 引用 • 545 回帖 • 1 关注
  • Maven

    Maven 是基于项目对象模型（POM）、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    188 引用 • 319 回帖 • 222 关注
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统，它问世于 1985 年，起初仅仅是 Microsoft-DOS 模拟环境，后续的系统版本由于微软不断的更新升级，不但易用，也慢慢的成为家家户户人们最喜爱的操作系统。

    232 引用 • 484 回帖
  • 职场

    找到自己的位置，萌新烦恼少。

    127 引用 • 1708 回帖 • 1 关注
  • OnlyOffice
    4 引用 • 41 关注
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用，支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    17 引用 • 7 回帖 • 1 关注
  • 叶归
    25 引用 • 100 回帖 • 37 关注
  • Netty

    Netty 是一个基于 NIO 的客户端-服务器编程框架，使用 Netty 可以让你快速、简单地开发出一个可维护、高性能的网络应用，例如实现了某种协议的客户、服务端应用。

    49 引用 • 33 回帖 • 63 关注
  • ngrok

    ngrok 是一个反向代理，通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 668 关注
  • 星云链

    星云链是一个开源公链，业内简单的将其称为区块链上的谷歌。其实它不仅仅是区块链搜索引擎，一个公链的所有功能，它基本都有，比如你可以用它来开发部署你的去中心化的 APP，你可以在上面编写智能合约，发送交易等等。3 分钟快速接入星云链 (NAS) 测试网

    3 引用 • 16 回帖
  • Spring

    Spring 是一个开源框架，是于 2003 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson 在其著作《Expert One-On-One J2EE Development and Design》中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为 JavaEE 应用程序开发提供集成的框架。

    950 引用 • 1460 回帖 • 2 关注
  • TGIF

    Thank God It's Friday! 感谢老天，总算到星期五啦！

    293 引用 • 4496 回帖 • 688 关注
  • Mobi.css

    Mobi.css is a lightweight, flexible CSS framework that focus on mobile.

    1 引用 • 6 回帖 • 799 关注
  • Hibernate

    Hibernate 是一个开放源代码的对象关系映射框架，它对 JDBC 进行了非常轻量级的对象封装，使得 Java 程序员可以随心所欲的使用对象编程思维来操纵数据库。

    39 引用 • 103 回帖 • 740 关注
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言，内置支持类型。它的解释器被称为 JavaScript 引擎，为浏览器的一部分，广泛用于客户端的脚本语言，最早是在 HTML 网页上使用，用来给 HTML 网页增加动态功能。

    736 引用 • 1307 回帖 • 2 关注
  • 人工智能

    人工智能（Artificial Intelligence）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    140 引用 • 407 回帖
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台，用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统（CMS）来使用。WordPress 是一个免费的开源项目，在 GNU 通用公共许可证（GPLv2）下授权发布。

    46 引用 • 114 回帖 • 139 关注
  • V2EX

    V2EX 是创意工作者们的社区。这里目前汇聚了超过 400,000 名主要来自互联网行业、游戏行业和媒体行业的创意工作者。V2EX 希望能够成为创意工作者们的生活和事业的一部分。

    16 引用 • 236 回帖 • 224 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库，强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery，是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 736 关注
  • SSL

    SSL（Secure Sockets Layer 安全套接层），及其继任者传输层安全（Transport Layer Security，TLS）是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 404 关注
  • 支付宝

    支付宝是全球领先的独立第三方支付平台，致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验，及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖 • 2 关注
  • Openfire

    Openfire 是开源的、基于可拓展通讯和表示协议 (XMPP)、采用 Java 编程语言开发的实时协作服务器。Openfire 的效率很高，单台服务器可支持上万并发用户。

    6 引用 • 7 回帖 • 133 关注
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发，并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例： https://wide.b3log.org

    30 引用 • 218 回帖 • 664 关注
  • 游戏

    沉迷游戏伤身，强撸灰飞烟灭。

    188 引用 • 833 回帖 • 1 关注
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台， 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动， 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖 • 1 关注
  • OpenResty

    OpenResty 是一个基于 NGINX 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。

    17 引用 • 51 关注
  • BAE

    百度应用引擎（Baidu App Engine）提供了 PHP、Java、Python 的执行环境，以及云存储、消息服务、云数据库等全面的云服务。它可以让开发者实现自动地部署和管理应用，并且提供动态扩容和负载均衡的运行环境，让开发者不用考虑高成本的运维工作，只需专注于业务逻辑，大大降低了开发者学习和迁移的成本。

    19 引用 • 75 回帖 • 702 关注

最新标签