登录 注册

S3 同步报错：“同步失败：网络超时，请稍后再试 (Provider: S3) v3.1.7”

本贴最后更新于 452 天前，其中的信息可能已经时移世改

个人 nas 部署的 minio，思源配置好后，要初始手工同步大概几百篇笔记 + 不到 100M 的附件，现在基本上每同步几兆就报错超时了，请问可能是啥问题，网络我测试着没啥问题。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    28446 引用 • 119768 回帖
北京 位置
16 回帖
6
5
3
1.1k 200 17 502 5 5 370

相关帖子

16 回帖
S3 同步报错：“同步失败：网络超时，请稍后再试 (Provider: S3) v3.1.7”

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 88250 •
    订阅者 MOD

    请发一下日志以便分析诊断问题，谢谢。

    1 回复
  • nij •
    付费者 作者

    截了下最后报错的部分：

    [repo/objects/98/b3ee88f412667617cded6f32d4dee7eafa9dbe]
I 2024/09/26 11:08:01 sync.go:1261: uploaded chunk [objects/98/b3ee88f412667617cded6f32d4dee7eafa9dbe, 68/939]
I 2024/09/26 11:08:01 s3.go:94: uploaded object [repo/objects/83/4332deef3f8283ef8239f09dc694b042b40c49]
I 2024/09/26 11:08:01 sync.go:1261: uploaded chunk [objects/83/4332deef3f8283ef8239f09dc694b042b40c49, 69/939]
I 2024/09/26 11:08:03 s3.go:94: uploaded object [repo/objects/82/3d37c763f55c365934f7480f792bc8c90b3ba0]
I 2024/09/26 11:08:03 sync.go:1261: uploaded chunk [objects/82/3d37c763f55c365934f7480f792bc8c90b3ba0, 70/939]
I 2024/09/26 11:08:04 s3.go:94: uploaded object [repo/objects/ae/6c54f836b6381a46486efb1f800f84580718d4]
I 2024/09/26 11:08:04 sync.go:1261: uploaded chunk [objects/ae/6c54f836b6381a46486efb1f800f84580718d4, 71/939]
E 2024/09/26 11:08:14 sync.go:1409: upload chunks failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
E 2024/09/26 11:08:14 sync.go:201: upload cloud failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
I 2024/09/26 11:08:19 s3.go:94: uploaded object [repo/objects/f3/042bc66396662d9b74f85b2688f3b076bfba4e]
I 2024/09/26 11:08:19 sync.go:1261: uploaded chunk [objects/f3/042bc66396662d9b74f85b2688f3b076bfba4e, 72/939]
I 2024/09/26 11:09:31 s3.go:94: uploaded object [repo/lock-sync]
I 2024/09/26 11:10:21 s3.go:94: uploaded object [repo/objects/a3/0c4e3b80a8ebea8ca18b3d5bfec36f86e8a890]
I 2024/09/26 11:10:21 sync.go:1261: uploaded chunk [objects/a3/0c4e3b80a8ebea8ca18b3d5bfec36f86e8a890, 73/939]
I 2024/09/26 11:11:01 s3.go:94: uploaded object [repo/objects/c1/86a27cb6d600af6629644a166c40e2c910907e]
I 2024/09/26 11:11:01 sync.go:1261: uploaded chunk [objects/c1/86a27cb6d600af6629644a166c40e2c910907e, 74/939]
I 2024/09/26 11:11:56 s3.go:94: uploaded object [repo/objects/d8/122b6a1ae6f94a4765f56453cd34af55e53312]
I 2024/09/26 11:11:56 sync.go:1261: uploaded chunk [objects/d8/122b6a1ae6f94a4765f56453cd34af55e53312, 75/939]
I 2024/09/26 11:11:57 s3.go:94: uploaded object [repo/objects/5c/8e56f41e8551134c1d600cfc33b0990d073eb4]
I 2024/09/26 11:11:57 sync.go:1261: uploaded chunk [objects/5c/8e56f41e8551134c1d600cfc33b0990d073eb4, 76/939]
I 2024/09/26 11:11:57 s3.go:138: removed object [repo/lock-sync]
E 2024/09/26 11:11:57 repository.go:1313: sync data repo failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
E 2024/09/26 11:11:57 sync.go:586: sync failed caused by network: RequestCanceled: request context canceled
caused by: context deadline exceeded
I 2024/09/26 11:12:12 s3.go:94: uploaded object [repo/objects/3b/d7a58131b894d27efa2bd90643c579afa9764c]
I 2024/09/26 11:12:12 sync.go:1261: uploaded chunk [objects/3b/d7a58131b894d27efa2bd90643c579afa9764c, 77/939]
    1 回复
  • 88250 •
    订阅者 MOD

    网络超时了，可能是服务端处理性能不够

    1 回复
  • nij •
    付费者 作者

    服务端看着很闲，minio 监控收到的请求稀稀拉拉的，又试了次刚三十几条就报错了，每条大的也就几百 k

    1 回复
  • 88250 •
    订阅者 MOD

    那可能是网络问题

    1 回复
  • nij •
    付费者 作者

    请问这手工同步整体失败停止的判断逻辑是啥，任意条 putObject 返回超时吗

    1 回复
  • 88250 •
    订阅者 MOD

    是的，任意一个请求报错就算失败了，否则数据不全。

    1 回复
  • nij •
    付费者 作者

    其实也可以失败的全标记上等能传的都传完再失败，下次再点再同步吧，我感觉现在这机制我不点上百次传不完。。

    1 回复
  • 88250 •
    订阅者 MOD

    你说的这个方案没有办法保证一致性的，因为两次同步之间可能会修改数据。

    所以还是建议你解决一下存储网络的可用性 ，只要这个可用性上来了，目前的同步方案性能和稳定性是有保证的。

    1 回复
  • nij •
    付费者 作者

    更新下情况，在同一个 nas 上改成用 webdav，基本全量同步一分来钟就完成了，S3 不知道具体为啥，有空再研究了，谢谢啦。

    1 回复
  • veee •
    订阅者

    我之前也总是失败，后来把时间改成 180s 好像就全部 ok 了。默认的好像是 30s 吧。

    1 回复
  • nij •
    付费者 作者

    我改到最大 300 也不行的，只是报错要等的时间长了些

  • fuyao886 •
    付费者

    我也遇到同样的问题了，在自己家的局域网就可以正常同步，但是一旦切换手机数据网络，就报错了，错误代码一样是 Provider：S3

  • liuk2i33 •
    付费者

    全量上传，从 minio 那边看调大 Timeout 能多上传一些，最大值 300 但是还是不够，还没传完就失败了

  • liuk2i33 •
    付费者

    这个上限值开大一些吧，不太够用

  • liuk2i33 •
    付费者

    我看是只要有一个失败就得重新上传，那时间也不影响，全量上传还是得网络稳定，实在不行多试试吧，这个问题还有什么好的解决方案吗

请输入回帖内容 ...
nij
北京
回帖
7
 帖子
1
 积分
513

近期热议

推荐标签 标签

  • 单点登录

    单点登录（Single Sign On）是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖 • 8 关注
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态；标准是由主流手机厂商组成的快应用联盟联合制定；快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台；以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖
  • NetBeans

    NetBeans 是一个始于 1997 年的 Xelfi 计划，本身是捷克布拉格查理大学的数学及物理学院的学生计划。此计划延伸而成立了一家公司进而发展这个商用版本的 NetBeans IDE，直到 1999 年 Sun 买下此公司。Sun 于次年（2000 年）六月将 NetBeans IDE 开源，直到现在 NetBeans 的社群依然持续增长。

    78 引用 • 102 回帖 • 724 关注
  • BAE

    百度应用引擎（Baidu App Engine）提供了 PHP、Java、Python 的执行环境，以及云存储、消息服务、云数据库等全面的云服务。它可以让开发者实现自动地部署和管理应用，并且提供动态扩容和负载均衡的运行环境，让开发者不用考虑高成本的运维工作，只需专注于业务逻辑，大大降低了开发者学习和迁移的成本。

    19 引用 • 75 回帖 • 702 关注
  • 星云链

    星云链是一个开源公链，业内简单的将其称为区块链上的谷歌。其实它不仅仅是区块链搜索引擎，一个公链的所有功能，它基本都有，比如你可以用它来开发部署你的去中心化的 APP，你可以在上面编写智能合约，发送交易等等。3 分钟快速接入星云链 (NAS) 测试网

    3 引用 • 16 回帖
  • 30Seconds

    📙 前端知识精选集，包含 HTML、CSS、JavaScript、React、Node、安全等方面，每天仅需 30 秒。

    • 精选常见面试题，帮助您准备下一次面试
    • 精选常见交互，帮助您拥有简洁酷炫的站点
    • 精选有用的 React 片段，帮助你获取最佳实践
    • 精选常见代码集，帮助您提高打码效率
    • 整理前端界的最新资讯，邀您一同探索新世界
    488 引用 • 384 回帖
  • OpenStack

    OpenStack 是一个云操作系统，通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成，同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 8 关注
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用，支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    17 引用 • 7 回帖 • 1 关注
  • Python

    Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。

    561 引用 • 677 回帖 • 1 关注
  • jsDelivr

    jsDelivr 是一个开源的 CDN 服务，可为 npm 包、GitHub 仓库提供免费、快速并且可靠的全球 CDN 加速服务。

    5 引用 • 31 回帖 • 120 关注
  • 深度学习

    深度学习（Deep Learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    45 引用 • 44 回帖 • 2 关注
  • V2Ray
    1 引用 • 15 回帖 • 4 关注
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成，还支持通过插件进行扩展。

    10 引用 • 5 回帖 • 1 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。

    20 引用 • 19 回帖
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    36 引用 • 200 回帖 • 54 关注
  • 职场

    找到自己的位置，萌新烦恼少。

    127 引用 • 1708 回帖 • 1 关注
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发，并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例： https://wide.b3log.org

    30 引用 • 218 回帖 • 663 关注
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。

    76 引用 • 258 回帖 • 641 关注
  • 工具

    子曰：“工欲善其事，必先利其器。”

    308 引用 • 773 回帖
  • 浅吟主题

    Jeffrey Chen 制作的思源笔记主题，项目仓库：https://github.com/TCOTC/Whisper

    2 引用 • 34 回帖 • 1 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统，最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统，最初是设计给 iPhone 使用的，后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样，属于类 Unix 的商业操作系统。

    89 引用 • 150 回帖 • 1 关注
  • abitmean

    有点意思就行了

    • 44 关注
  • ZooKeeper

    ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 HBase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

    61 引用 • 29 回帖 • 14 关注
  • Windows

    Microsoft Windows 是美国微软公司研发的一套操作系统，它问世于 1985 年，起初仅仅是 Microsoft-DOS 模拟环境，后续的系统版本由于微软不断的更新升级，不但易用，也慢慢的成为家家户户人们最喜爱的操作系统。

    232 引用 • 484 回帖 • 1 关注
  • Scala

    Scala 是一门多范式的编程语言，集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 180 关注
  • ZeroNet

    ZeroNet 是一个基于比特币加密技术和 BT 网络技术的去中心化的、开放开源的网络和交流系统。

    1 引用 • 21 回帖 • 667 关注
  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。

    119 引用 • 54 回帖

最新标签