登录 注册

S3 同步报错：“同步失败：网络超时，请稍后再试 (Provider: S3) v3.1.7”

个人 nas 部署的 minio，思源配置好后，要初始手工同步大概几百篇笔记 + 不到 100M 的附件，现在基本上每同步几兆就报错超时了，请问可能是啥问题，网络我测试着没啥问题。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    23012 引用 • 92566 回帖
北京 位置
16 回帖
6
5
3
400 174 209 1 4 11

相关帖子

16 回帖
S3 同步报错：“同步失败：网络超时，请稍后再试 (Provider: S3) v3.1.7”

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 88250 •
    订阅者 MOD

    请发一下日志以便分析诊断问题，谢谢。

    1 回复
  • nij •
    付费者 作者

    截了下最后报错的部分：

    [repo/objects/98/b3ee88f412667617cded6f32d4dee7eafa9dbe]
I 2024/09/26 11:08:01 sync.go:1261: uploaded chunk [objects/98/b3ee88f412667617cded6f32d4dee7eafa9dbe, 68/939]
I 2024/09/26 11:08:01 s3.go:94: uploaded object [repo/objects/83/4332deef3f8283ef8239f09dc694b042b40c49]
I 2024/09/26 11:08:01 sync.go:1261: uploaded chunk [objects/83/4332deef3f8283ef8239f09dc694b042b40c49, 69/939]
I 2024/09/26 11:08:03 s3.go:94: uploaded object [repo/objects/82/3d37c763f55c365934f7480f792bc8c90b3ba0]
I 2024/09/26 11:08:03 sync.go:1261: uploaded chunk [objects/82/3d37c763f55c365934f7480f792bc8c90b3ba0, 70/939]
I 2024/09/26 11:08:04 s3.go:94: uploaded object [repo/objects/ae/6c54f836b6381a46486efb1f800f84580718d4]
I 2024/09/26 11:08:04 sync.go:1261: uploaded chunk [objects/ae/6c54f836b6381a46486efb1f800f84580718d4, 71/939]
E 2024/09/26 11:08:14 sync.go:1409: upload chunks failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
E 2024/09/26 11:08:14 sync.go:201: upload cloud failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
I 2024/09/26 11:08:19 s3.go:94: uploaded object [repo/objects/f3/042bc66396662d9b74f85b2688f3b076bfba4e]
I 2024/09/26 11:08:19 sync.go:1261: uploaded chunk [objects/f3/042bc66396662d9b74f85b2688f3b076bfba4e, 72/939]
I 2024/09/26 11:09:31 s3.go:94: uploaded object [repo/lock-sync]
I 2024/09/26 11:10:21 s3.go:94: uploaded object [repo/objects/a3/0c4e3b80a8ebea8ca18b3d5bfec36f86e8a890]
I 2024/09/26 11:10:21 sync.go:1261: uploaded chunk [objects/a3/0c4e3b80a8ebea8ca18b3d5bfec36f86e8a890, 73/939]
I 2024/09/26 11:11:01 s3.go:94: uploaded object [repo/objects/c1/86a27cb6d600af6629644a166c40e2c910907e]
I 2024/09/26 11:11:01 sync.go:1261: uploaded chunk [objects/c1/86a27cb6d600af6629644a166c40e2c910907e, 74/939]
I 2024/09/26 11:11:56 s3.go:94: uploaded object [repo/objects/d8/122b6a1ae6f94a4765f56453cd34af55e53312]
I 2024/09/26 11:11:56 sync.go:1261: uploaded chunk [objects/d8/122b6a1ae6f94a4765f56453cd34af55e53312, 75/939]
I 2024/09/26 11:11:57 s3.go:94: uploaded object [repo/objects/5c/8e56f41e8551134c1d600cfc33b0990d073eb4]
I 2024/09/26 11:11:57 sync.go:1261: uploaded chunk [objects/5c/8e56f41e8551134c1d600cfc33b0990d073eb4, 76/939]
I 2024/09/26 11:11:57 s3.go:138: removed object [repo/lock-sync]
E 2024/09/26 11:11:57 repository.go:1313: sync data repo failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
E 2024/09/26 11:11:57 sync.go:586: sync failed caused by network: RequestCanceled: request context canceled
caused by: context deadline exceeded
I 2024/09/26 11:12:12 s3.go:94: uploaded object [repo/objects/3b/d7a58131b894d27efa2bd90643c579afa9764c]
I 2024/09/26 11:12:12 sync.go:1261: uploaded chunk [objects/3b/d7a58131b894d27efa2bd90643c579afa9764c, 77/939]
    1 回复
  • 88250 •
    订阅者 MOD

    网络超时了，可能是服务端处理性能不够

    1 回复
  • nij •
    付费者 作者

    服务端看着很闲，minio 监控收到的请求稀稀拉拉的，又试了次刚三十几条就报错了，每条大的也就几百 k

    1 回复
  • 88250 •
    订阅者 MOD

    那可能是网络问题

    1 回复
  • nij •
    付费者 作者

    请问这手工同步整体失败停止的判断逻辑是啥，任意条 putObject 返回超时吗

    1 回复
  • 88250 •
    订阅者 MOD

    是的，任意一个请求报错就算失败了，否则数据不全。

    1 回复
  • nij •
    付费者 作者

    其实也可以失败的全标记上等能传的都传完再失败，下次再点再同步吧，我感觉现在这机制我不点上百次传不完。。

    1 回复
  • 88250 •
    订阅者 MOD

    你说的这个方案没有办法保证一致性的，因为两次同步之间可能会修改数据。

    所以还是建议你解决一下存储网络的可用性 ，只要这个可用性上来了，目前的同步方案性能和稳定性是有保证的。

    1 回复
  • nij •
    付费者 作者

    更新下情况，在同一个 nas 上改成用 webdav，基本全量同步一分来钟就完成了，S3 不知道具体为啥，有空再研究了，谢谢啦。

    1 回复
  • Elystraw •
    订阅者

    我之前也总是失败，后来把时间改成 180s 好像就全部 ok 了。默认的好像是 30s 吧。

    1 回复
  • nij •
    付费者 作者

    我改到最大 300 也不行的，只是报错要等的时间长了些

  • fuyao886 •
    付费者

    我也遇到同样的问题了，在自己家的局域网就可以正常同步，但是一旦切换手机数据网络，就报错了，错误代码一样是 Provider：S3

  • liuk2i33 •
    付费者

    全量上传，从 minio 那边看调大 Timeout 能多上传一些，最大值 300 但是还是不够，还没传完就失败了

  • liuk2i33 •
    付费者

    这个上限值开大一些吧，不太够用

  • liuk2i33 •
    付费者

    我看是只要有一个失败就得重新上传，那时间也不影响，全量上传还是得网络稳定，实在不行多试试吧，这个问题还有什么好的解决方案吗

请输入回帖内容 ...
nij
北京
回帖
6
 帖子
1
 积分
518

近期热议

推荐标签 标签

  • Postman

    Postman 是一款简单好用的 HTTP API 调试工具。

    4 引用 • 3 回帖 • 7 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

    59 引用 • 29 回帖 • 14 关注
  • 学习

    “梦想从学习开始，事业从实践起步” —— 习近平

    171 引用 • 512 回帖
  • JWT

    JWT（JSON Web Token）是一种用于双方之间传递信息的简洁的、安全的表述性声明规范。JWT 作为一个开放的标准（RFC 7519），定义了一种简洁的，自包含的方法用于通信双方之间以 JSON 的形式安全的传递信息。

    20 引用 • 15 回帖 • 6 关注
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言，应用广泛。C++ 支持多种编程范式，面向对象编程、泛型编程和过程化编程。

    107 引用 • 153 回帖
  • Love2D

    Love2D 是一个开源的， 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 538 关注
  • 宕机

    宕机，多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态，也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态，也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 59 关注
  • 机器学习

    机器学习（Machine Learning）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

    83 引用 • 37 回帖
  • Swagger

    Swagger 是一款非常流行的 API 开发工具，它遵循 OpenAPI Specification（这是一种通用的、和编程语言无关的 API 描述规范）。Swagger 贯穿整个 API 生命周期，如 API 的设计、编写文档、测试和部署。

    26 引用 • 35 回帖 • 5 关注
  • 房星科技

    房星网，我们不和没有钱的程序员谈理想，我们要让程序员又有理想又有钱。我们有雄厚的房地产行业线下资源，遍布昆明全城的 100 家门店、四千地产经纪人是我们坚实的后盾。

    6 引用 • 141 回帖 • 584 关注
  • App

    App（应用程序，Application 的缩写）一般指手机软件。

    91 引用 • 384 回帖 • 2 关注
  • 自由行
    • 4 关注
  • Sym

    Sym 是一款用 Java 实现的现代化社区（论坛/BBS/社交网络/博客）系统平台。

    下一代的社区系统，为未来而构建

    524 引用 • 4601 回帖 • 700 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统，最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统，最初是设计给 iPhone 使用的，后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样，属于类 Unix 的商业操作系统。

    85 引用 • 139 回帖
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 29 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。

    20 引用 • 19 回帖 • 1 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    313 引用 • 547 回帖 • 1 关注
  • Hprose

    Hprose 是一款先进的轻量级、跨语言、跨平台、无侵入式、高性能动态远程对象调用引擎库。它不仅简单易用，而且功能强大。你无需专门学习，只需看上几眼，就能用它轻松构建分布式应用系统。

    9 引用 • 17 回帖 • 612 关注
  • SVN

    SVN 是 Subversion 的简称，是一个开放源代码的版本控制系统，相较于 RCS、CVS，它采用了分支管理系统，它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 694 关注
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    71 引用 • 535 回帖 • 789 关注
  • WordPress

    WordPress 是一个使用 PHP 语言开发的博客平台，用户可以在支持 PHP 和 MySQL 数据库的服务器上架设自己的博客。也可以把 WordPress 当作一个内容管理系统（CMS）来使用。WordPress 是一个免费的开源项目，在 GNU 通用公共许可证（GPLv2）下授权发布。

    66 引用 • 114 回帖 • 223 关注
  • Solo

    Solo 是一款小而美的开源博客系统，专为程序员设计。Solo 有着非常活跃的社区，可将文章作为帖子推送到社区，来自社区的回帖将作为博客评论进行联动（具体细节请浏览 B3log 构思 - 分布式社区网络）。

    这是一种全新的网络社区体验，让热爱记录和分享的你不再感到孤单！

    1435 引用 • 10056 回帖 • 489 关注
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年，是中国的 IT 社区和服务平台，为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务，满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    209 引用 • 358 回帖 • 1 关注
  • 分享

    有什么新发现就分享给大家吧！

    248 引用 • 1795 回帖
  • 百度

    百度（Nasdaq：BIDU）是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村，致力于向人们提供“简单，可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”，象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 164 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖

最新标签