登录 注册

更新到 v3.1.17 后 S3 同步错误

截屏 2024122812.45.15.png

系统是 MacOS M1，和之前的版本一样更新，未对 S3 配置做任何修改，并且其它设备 3.1.16 的版本同步正常，是阿里云的桶。不知道有人遇到一样的问题吗，有解决方案吗？谢谢 ～

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    25127 引用 • 103603 回帖
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    9589 引用 • 43618 回帖 • 97 关注
2 引用
思源笔记用户常见问题（25 年 1 月 3 日更新同步问题） • mozhu
v3.1.17 锁定云端同步目录失败，糟心的多端同步总出问题 • JeffreyChen
重庆 位置
20 悬赏
1 关注
2 引用
37 回帖
15
8
4
2
2
1.6k 302 641 7 673

相关帖子

被采纳的回答
优质回帖
  • Whacka • • 1 赞同 via macOS
    付费者 捐赠者

    感谢测试，我感觉从反馈信息来看应该是前后端计算签名的方法或者参数不一致导致的，比如签名公式的版本（v4？）。

  • lundqhx • • 1
    付费者

    我根据这篇博文和 minio 官方文档设置了 Nginx 的相关配置，还是不行。

    我也用了 cloudFlare 管理域名，然后我把 minio api 的子域名的 proxy（橙色云）关闭之后，就可以正常同步了！

  • Whacka • • 1 via macOS
    付费者 捐赠者

    使命感油然而生，然而我折腾了几天之后还是决定放弃了，我改用 CloudFlare R2 作为主要同步服务器，群晖上用 rclone 定期同步数据做备份。

    我的环境：

    服务器：群晖 Docker MinIO（还是 24 年中的版本，Docker Hub 被禁用之后我不会升级版本。。。），没有公网 ip 所以选择 CloudFlare Tunnel 做内网穿透。

    客户端：MacBookPro Intel 版本，思源 3.1.18。

    我的一些观察：

    1. 我 blame 了一下思源里 S3 获取 Buckets 列表相关的代码，这部分于 2 周前更新了亚马逊的 sdk v2 版本。在亚马逊的 github 里看到 ListBuckets 函数调用了 c 的函数，具体的签名过程我不知道从哪里查看。
    2. 在 CloudFlare Tunnel 的监听界面里可以获取到访问记录的 http url 和 headers，我对比了 3.1.17 和 3.1.16（iOS）点击“设置”时访问的获取 Buckets 列表操作的记录，发现 url 有比较大的不同，3.1.17 的 url 是 GET https://minioapi.example.com/?x-id=ListBuckets HTTP/1.1，而 3.1.16 则是 GET https://minioapi.example.com/ HTTP/1.1；headers 内容略有不同，但其中非常关键的信息是 X-Amz-Date（例如 20241231T133058Z），这是一个 UTC 时间精确到秒，在相关文档里明确说了这条目是签名认证的关键信息，我用 CloudFlare Rules 调整了一下这个时间果然得到了明确的新的错误信息（格式不正确，或者时间相差太多），但这个条目与我遇到的问题应该没啥关系，因为两个版本发送的 header 里都有它。另一个关键的 header 就是 X-Forwarded-For，然而 CloudFlare Rules 里不允许修改这条的内容，因此我无法确认是否因为 CloudFlare 在代理转发过程中篡改了内容导致签名失败。

    image.png

    image.png

37 回帖
更新到 v3.1.17 后 S3 同步错误

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • mozhu •
    订阅者 付费者 支持者 捐赠者

    阿里云的 regoin 根据阿里云帮助文档修改， 一般是什么 cn-beijing 之类的，别写中文。

  • muweize • • 1 评论
    付费者

    +1 求助

    可以了，Regoin 我的改 oss 地域 ID 可以了 https://help.aliyun.com/zh/oss/user-guide/regions-and-endpoints?utm_source=ld246.com
    muweize •
  • Whacka • • 1 评论 via macOS
    付费者 捐赠者

    +1，我的是自家的 minio S3，地区我自己填的 zh_cn，之前只要服务器和客户端能对上就行，更新之后的提示和你的一样。

    更新之前还测试过可以同步，更新后马上就失效了。

    1 回复
    minio 和思源都改成 cn-beijing 之后还是有报错： operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 18155E8E4B17xxxx, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2xxxx, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)
    Whacka •
  • 88250 •
    订阅者 MOD

    MinIO 的话 Region 填 us-east-1

    1 回复
  • Whacka • via macOS
    付费者 捐赠者

    感谢，试了修改 minio 服务器 Region 为 us-east-1，思源里也同步修改，点击云端同步设置的按钮，依然这个错误：

    • operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 18155F8868F8569E, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)
    1 回复
  • 88250 •
    订阅者 MOD

    服务器端不要改，用默认的。

    2 回复
  • Whacka • via macOS
    付费者 捐赠者

    MinIO VERSION 2024-06-26T01:06:18Z

    已将服务器 Location 恢复默认值：

    image.png

    思源这个设置，依然是刚刚的错误：

    image.png

    1 回复
  • 88250 •
    订阅者 MOD

    能升级 MinIO 的话升级看看，我这边测试过最新版没有问题。

    1 回复
  • Whacka • via macOS
    付费者 捐赠者

    收到，我试试看

    1 回复
  • ilovewithu • via macOS
    付费者

    minio 更新后，有同步成功吗

    1 回复
  • Whacka • via macOS
    付费者 捐赠者

    我用群晖 Container Manager 部署的 MinIO，想要下载新版但 Docker Hub 无法访问。。。卡住了

  • lundqhx •
    付费者

    我也出现同样的问题。已经升级为最新的 minio 版本。同时地区也设置为默认的 us-east-1

    image.png

    1 回复
  • mozhu •
    订阅者 付费者 支持者 捐赠者

    那个地址那 path-style 换 v 那个试试吧。另外就是注意一下升级后 key 有没有变化

    1 回复
  • lundqhx •
    付费者

    感谢回复。试了一下换成 virtual-hosted-style，还是不行。我又重新生成了一个 key，还是出现同样的错误。。。

    operation error S3: ListBuckets, https response error StatusCode: 403, RequestID: 1815ED86DD66ED94, HostID: dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8, api error SignatureDoesNotMatch: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Provider: S3)

    我感觉应该是 Secret key 没有被正确传进去，毕竟配置不变，降级成 3.1.16 就完全没问题

    1 回复
  • Whacka • • 1 赞同 via macOS
    付费者 捐赠者

    感谢测试，我感觉从反馈信息来看应该是前后端计算签名的方法或者参数不一致导致的，比如签名公式的版本（v4？）。

  • Whacka • via macOS
    付费者 捐赠者

    找到一篇博文， 可能说明了为啥会签名失败：

    https://blog.csdn.net/cucgyfjklx/article/details/133165964

    大意是通过 Nginx 反代了 MinIO 的服务后会因为 ip 的变更导致前后端计算签名的参数（ip）不一致。

    我不是很懂 Nginx 和相关技术，我使用的是 CF 的 Tunnel 方案，也许有类似的问题。

    1 回复
  • lundqhx • • 1
    付费者

    我根据这篇博文和 minio 官方文档设置了 Nginx 的相关配置，还是不行。

    我也用了 cloudFlare 管理域名，然后我把 minio api 的子域名的 proxy（橙色云）关闭之后，就可以正常同步了！

    2 回复
  • Whacka • via macOS
    付费者 捐赠者

    请问 cf 的 proxy 是指什么呢？有没有相关的指导文档呢，非常感谢！

    1 回复
  • awatar • • 1 评论
    付费者

    同样用 cf , 更新 17 之后不能用，折腾一天了 😭

    先退回 3.1.16 版本，可同步了；17 版本应该修改什么 S3 同步参数，但当前 minio 版本不匹配；建议 siyuan 放开更多 s3 云同步参数可设置。先观望吧，解决了再升级新版本。
    awatar • • 1 赞同
  • ilovewithu • via macOS
    付费者

    牛逼，确实关了小黄云可以同步了

    1 回复
  • awatar •
    付费者

    测试 3.1.18 也不行，继续退回 3.1.16

    1 回复
  • 88250 •
    订阅者 MOD

    不要回退版本了，建议参考一下其他人的经验进行配置，谢谢。

  • lundqhx •
    付费者

    在 DNS -> Record 里面，把 minio 域名对应的 Proxy Status 改成 DNS only 就可以了

    image.png

    1 回复
  • Whacka • via macOS
    付费者 捐赠者

    我关闭了 minioapi 子域名的小黄云，过了几分钟后思源无法连接服务器了。。。

  • Whacka • via macOS
    付费者 捐赠者

    谢谢，我的方案是 CF Tunnel，所以这里类型不是 A 而是 CNAME，关闭小黄云后直接无法访问了。我猜你的是公网 ip 的方案所以正常？

    image.png

    1 回复
  • 88250 •
    订阅者 MOD

    千万不要启用 CDN，否则会影响数据同步的一致性。

    1 回复
  • Whacka • via macOS
    付费者 捐赠者

    我用 CF Tunnel，请问你说的不启用 CDN 是指关闭 Cache 吗？我试着关闭了 Cache 还是签名不匹配。

    image.png

    1 回复
  • 88250 •
    订阅者 MOD

    不要对 S3 存储使用任何 CDN，否则数据会被缓存，导致索引对比出现异常。

    2 回复
  • Whacka • via macOS
    付费者 捐赠者

    明白了，但我尝试在 CF Bypass 所有缓存，依然得到之前的结果（签名不匹配）。

    image.png

    1 回复
  • 88250 •
    订阅者 MOD

    估计还是代理导致的签名问题 https://aws.github.io/aws-sdk-go-v2/docs/faq/#why-am-i-getting-invalid-signature-errors-when-using-an-http-proxy-with-the-sdk

    1 回复
  • Whacka • via macOS
    付费者 捐赠者

    谢谢，我在这个方向研究一下

    1 回复
  • 88250 •
    订阅者 MOD

    解决的话麻烦分享一下方案 🙏

    1 回复
  • vvfree •
    付费者

    我是不同版本的都通过 minio 同步，都成功，家里自建软路由做的服务器，挺正常，自己配的参数都很随意，移动端和 pc 是 3.17，docker 还是非常早的 3.1.6

  • Whacka • • 1 via macOS
    付费者 捐赠者

    使命感油然而生，然而我折腾了几天之后还是决定放弃了，我改用 CloudFlare R2 作为主要同步服务器，群晖上用 rclone 定期同步数据做备份。

    我的环境：

    服务器：群晖 Docker MinIO（还是 24 年中的版本，Docker Hub 被禁用之后我不会升级版本。。。），没有公网 ip 所以选择 CloudFlare Tunnel 做内网穿透。

    客户端：MacBookPro Intel 版本，思源 3.1.18。

    我的一些观察：

    1. 我 blame 了一下思源里 S3 获取 Buckets 列表相关的代码，这部分于 2 周前更新了亚马逊的 sdk v2 版本。在亚马逊的 github 里看到 ListBuckets 函数调用了 c 的函数，具体的签名过程我不知道从哪里查看。
    2. 在 CloudFlare Tunnel 的监听界面里可以获取到访问记录的 http url 和 headers，我对比了 3.1.17 和 3.1.16（iOS）点击“设置”时访问的获取 Buckets 列表操作的记录，发现 url 有比较大的不同，3.1.17 的 url 是 GET https://minioapi.example.com/?x-id=ListBuckets HTTP/1.1，而 3.1.16 则是 GET https://minioapi.example.com/ HTTP/1.1；headers 内容略有不同，但其中非常关键的信息是 X-Amz-Date（例如 20241231T133058Z），这是一个 UTC 时间精确到秒，在相关文档里明确说了这条目是签名认证的关键信息，我用 CloudFlare Rules 调整了一下这个时间果然得到了明确的新的错误信息（格式不正确，或者时间相差太多），但这个条目与我遇到的问题应该没啥关系，因为两个版本发送的 header 里都有它。另一个关键的 header 就是 X-Forwarded-For，然而 CloudFlare Rules 里不允许修改这条的内容，因此我无法确认是否因为 CloudFlare 在代理转发过程中篡改了内容导致签名失败。

    image.png

    image.png

    1 回复
  • awatar •
    付费者
    1. X-Amz-Date 这个应该是参与到签名计算过程中，时间不一样签名肯定不一致，除非 CF 不缓存，关闭小黄云；但大家开启小黄云是有自己的应用场景的，比如我是办公场所没有 IPV6 环境，家里没有 IPV4 公网 IP，所以需要 CF 代理一下，关闭小黄云直接连接不了了；
    2. X-Forwarded-For 之类报文头，需要付费计划才能在规则里修改；由于上边时间不一致，估计也不管用；
    3. CF 官方抢到了 cloud connecter 服务，我看了看，主要是连接 S3 的，但只支持自家和亚马孙、微软、谷歌。想必 CF 官方也清楚 CDN 不能支持 S3 V4 版本的代理，所以才推出了云直联服务；
    4. 解决办法：
      1. 继续用 16 版本，在版本没有大变化前提，能继续用一段时间；
      2. 家里 NAS 想办法获得公网 IPV4，不用 CF 代理改用直联；
      3. 改用公网云服务，阿里、腾讯、七牛或其它；
      4. 改用 docker 自建的 siyuan，远程访问网页版，虽然 CF 代理影响 S3 同步，但不影响纯网页的浏览。🎉
  • Whacka • via macOS
    付费者 捐赠者

    不太死心，研究了几天之后还是失败了，但了解到了一些信息，作为成果讨论一下，由于和本帖的问题不太一样，单独开了一帖：

    v3.1.17 或更高版本通过 CloudFlare Tunnel 访问 MinIO S3 提示 SignatureMismatch 问题的一些研究

  • www766 •
    订阅者 捐赠者 恶龙

    @88250 D 大刚看到您贴内答复的这个问题，这个请问我使用的 minio S3，去 minio 控制台哪里能看到配置使用没使用 CDN？请 D 大给指导下，以免在使用各端的思源时造成不必要的数据异常，感谢!

请输入回帖内容 ...
ferencyim
重庆
回帖
0
 帖子
1
 积分
645

近期热议

推荐标签 标签

  • 阿里云

    阿里云是阿里巴巴集团旗下公司，是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务，以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    84 引用 • 324 回帖
  • PostgreSQL

    PostgreSQL 是一款功能强大的企业级数据库系统，在 BSD 开源许可证下发布。

    22 引用 • 22 回帖 • 1 关注
  • AWS
    11 引用 • 28 回帖 • 13 关注
  • NetBeans

    NetBeans 是一个始于 1997 年的 Xelfi 计划，本身是捷克布拉格查理大学的数学及物理学院的学生计划。此计划延伸而成立了一家公司进而发展这个商用版本的 NetBeans IDE，直到 1999 年 Sun 买下此公司。Sun 于次年（2000 年）六月将 NetBeans IDE 开源，直到现在 NetBeans 的社群依然持续增长。

    78 引用 • 102 回帖 • 701 关注
  • Kafka

    Kafka 是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是现代系统中许多功能的基础。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

    36 引用 • 35 回帖 • 2 关注
  • uTools

    uTools 是一个极简、插件化、跨平台的现代桌面软件。通过自由选配丰富的插件，打造你得心应手的工具集合。

    7 引用 • 27 回帖
  • 阿里巴巴

    阿里巴巴网络技术有限公司（简称：阿里巴巴集团）是以曾担任英语教师的马云为首的 18 人，于 1999 年在中国杭州创立，他们相信互联网能够创造公平的竞争环境，让小企业通过创新与科技扩展业务，并在参与国内或全球市场竞争时处于更有利的位置。

    43 引用 • 221 回帖 • 71 关注
  • 负能量

    上帝为你关上了一扇门，然后就去睡觉了....努力不一定能成功，但不努力一定很轻松 (° ー °〃)

    89 引用 • 1243 回帖 • 409 关注
  • 互联网

    互联网（Internet），又称网际网络，或音译因特网、英特网。互联网始于 1969 年美国的阿帕网，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一巨大国际网络。

    99 引用 • 367 回帖
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议，它实现了浏览器与服务器之间的全双工通信（full-duplex）。

    48 引用 • 206 回帖 • 295 关注
  • Jenkins

    Jenkins 是一套开源的持续集成工具。它提供了非常丰富的插件，让构建、部署、自动化集成项目变得简单易用。

    54 引用 • 37 回帖
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言，由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码，也可以编译成 JavaScript，方便在没有 JVM 的设备上运行。在 Google I/O 2017 中，Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 80 关注
  • 博客

    记录并分享人生的经历。

    273 引用 • 2388 回帖
  • V2Ray
    1 引用 • 15 回帖
  • GitLab

    GitLab 是利用 Ruby 一个开源的版本管理系统，实现一个自托管的 Git 项目仓库，可通过 Web 界面操作公开或私有项目。

    46 引用 • 72 回帖 • 3 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架，使用 Node.js 编写。

    22 引用 • 148 回帖 • 13 关注
  • FreeMarker

    FreeMarker 是一款好用且功能强大的 Java 模版引擎。

    23 引用 • 20 回帖 • 459 关注
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 46 关注
  • OneDrive
    2 引用 • 1 关注
  • 心情

    心是产生任何想法的源泉，心本体会陷入到对自己本体不能理解的状态中，因为心能产生任何想法，不能分出对错，不能分出自己。

    59 引用 • 369 回帖 • 1 关注
  • LeetCode

    LeetCode（力扣）是一个全球极客挚爱的高质量技术成长平台，想要学习和提升专业能力从这里开始，充足技术干货等你来啃，轻松拿下 Dream Offer！

    209 引用 • 72 回帖
  • 服务

    提供一个服务绝不仅仅是简单的把硬件和软件累加在一起，它包括了服务的可靠性、服务的标准化、以及对服务的监控、维护、技术支持等。

    41 引用 • 24 回帖 • 2 关注
  • 架构

    我们平时所说的“架构”主要是指软件架构，这是有关软件整体结构与组件的抽象描述，用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    143 引用 • 442 回帖
  • FlowUs

    FlowUs.息流 个人及团队的新一代生产力工具。

    让复杂的信息管理更轻松、自由、充满创意。

    1 引用 • 1 关注
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统（DBMS），它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的，并于 1988 年推出了第一个 OS/2 版本。

    21 引用 • 31 回帖
  • Unity

    Unity 是由 Unity Technologies 开发的一个让开发者可以轻松创建诸如 2D、3D 多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。

    25 引用 • 7 回帖 • 132 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 31 关注

最新标签