登录 注册

S3 同步报错：“同步失败：网络超时，请稍后再试 (Provider: S3) v3.1.7”

本贴最后更新于 202 天前，其中的信息可能已经时移世改

个人 nas 部署的 minio，思源配置好后，要初始手工同步大概几百篇笔记 + 不到 100M 的附件，现在基本上每同步几兆就报错超时了，请问可能是啥问题，网络我测试着没啥问题。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    25102 引用 • 103489 回帖
北京 位置
16 回帖
6
5
3
726 191 400 2 5 127

相关帖子

16 回帖
S3 同步报错：“同步失败：网络超时，请稍后再试 (Provider: S3) v3.1.7”

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 88250 •
    订阅者 MOD

    请发一下日志以便分析诊断问题，谢谢。

    1 回复
  • nij •
    付费者 作者

    截了下最后报错的部分：

    [repo/objects/98/b3ee88f412667617cded6f32d4dee7eafa9dbe]
I 2024/09/26 11:08:01 sync.go:1261: uploaded chunk [objects/98/b3ee88f412667617cded6f32d4dee7eafa9dbe, 68/939]
I 2024/09/26 11:08:01 s3.go:94: uploaded object [repo/objects/83/4332deef3f8283ef8239f09dc694b042b40c49]
I 2024/09/26 11:08:01 sync.go:1261: uploaded chunk [objects/83/4332deef3f8283ef8239f09dc694b042b40c49, 69/939]
I 2024/09/26 11:08:03 s3.go:94: uploaded object [repo/objects/82/3d37c763f55c365934f7480f792bc8c90b3ba0]
I 2024/09/26 11:08:03 sync.go:1261: uploaded chunk [objects/82/3d37c763f55c365934f7480f792bc8c90b3ba0, 70/939]
I 2024/09/26 11:08:04 s3.go:94: uploaded object [repo/objects/ae/6c54f836b6381a46486efb1f800f84580718d4]
I 2024/09/26 11:08:04 sync.go:1261: uploaded chunk [objects/ae/6c54f836b6381a46486efb1f800f84580718d4, 71/939]
E 2024/09/26 11:08:14 sync.go:1409: upload chunks failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
E 2024/09/26 11:08:14 sync.go:201: upload cloud failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
I 2024/09/26 11:08:19 s3.go:94: uploaded object [repo/objects/f3/042bc66396662d9b74f85b2688f3b076bfba4e]
I 2024/09/26 11:08:19 sync.go:1261: uploaded chunk [objects/f3/042bc66396662d9b74f85b2688f3b076bfba4e, 72/939]
I 2024/09/26 11:09:31 s3.go:94: uploaded object [repo/lock-sync]
I 2024/09/26 11:10:21 s3.go:94: uploaded object [repo/objects/a3/0c4e3b80a8ebea8ca18b3d5bfec36f86e8a890]
I 2024/09/26 11:10:21 sync.go:1261: uploaded chunk [objects/a3/0c4e3b80a8ebea8ca18b3d5bfec36f86e8a890, 73/939]
I 2024/09/26 11:11:01 s3.go:94: uploaded object [repo/objects/c1/86a27cb6d600af6629644a166c40e2c910907e]
I 2024/09/26 11:11:01 sync.go:1261: uploaded chunk [objects/c1/86a27cb6d600af6629644a166c40e2c910907e, 74/939]
I 2024/09/26 11:11:56 s3.go:94: uploaded object [repo/objects/d8/122b6a1ae6f94a4765f56453cd34af55e53312]
I 2024/09/26 11:11:56 sync.go:1261: uploaded chunk [objects/d8/122b6a1ae6f94a4765f56453cd34af55e53312, 75/939]
I 2024/09/26 11:11:57 s3.go:94: uploaded object [repo/objects/5c/8e56f41e8551134c1d600cfc33b0990d073eb4]
I 2024/09/26 11:11:57 sync.go:1261: uploaded chunk [objects/5c/8e56f41e8551134c1d600cfc33b0990d073eb4, 76/939]
I 2024/09/26 11:11:57 s3.go:138: removed object [repo/lock-sync]
E 2024/09/26 11:11:57 repository.go:1313: sync data repo failed: RequestCanceled: request context canceled
caused by: context deadline exceeded
E 2024/09/26 11:11:57 sync.go:586: sync failed caused by network: RequestCanceled: request context canceled
caused by: context deadline exceeded
I 2024/09/26 11:12:12 s3.go:94: uploaded object [repo/objects/3b/d7a58131b894d27efa2bd90643c579afa9764c]
I 2024/09/26 11:12:12 sync.go:1261: uploaded chunk [objects/3b/d7a58131b894d27efa2bd90643c579afa9764c, 77/939] 
​
    1 回复
  • 88250 •
    订阅者 MOD

    网络超时了，可能是服务端处理性能不够

    1 回复
  • nij •
    付费者 作者

    服务端看着很闲，minio 监控收到的请求稀稀拉拉的，又试了次刚三十几条就报错了，每条大的也就几百 k

    1 回复
  • 88250 •
    订阅者 MOD

    那可能是网络问题

    1 回复
  • nij •
    付费者 作者

    请问这手工同步整体失败停止的判断逻辑是啥，任意条 putObject 返回超时吗

    1 回复
  • 88250 •
    订阅者 MOD

    是的，任意一个请求报错就算失败了，否则数据不全。

    1 回复
  • nij •
    付费者 作者

    其实也可以失败的全标记上等能传的都传完再失败，下次再点再同步吧，我感觉现在这机制我不点上百次传不完。。

    1 回复
  • 88250 •
    订阅者 MOD

    你说的这个方案没有办法保证一致性的，因为两次同步之间可能会修改数据。

    所以还是建议你解决一下存储网络的可用性 ，只要这个可用性上来了，目前的同步方案性能和稳定性是有保证的。

    1 回复
  • nij •
    付费者 作者

    更新下情况，在同一个 nas 上改成用 webdav，基本全量同步一分来钟就完成了，S3 不知道具体为啥，有空再研究了，谢谢啦。

    1 回复
  • Elystraw • via macOS
    订阅者

    我之前也总是失败，后来把时间改成 180s 好像就全部 ok 了。默认的好像是 30s 吧。

    1 回复
  • nij •
    付费者 作者

    我改到最大 300 也不行的，只是报错要等的时间长了些

  • fuyao886 • via macOS
    付费者

    我也遇到同样的问题了，在自己家的局域网就可以正常同步，但是一旦切换手机数据网络，就报错了，错误代码一样是 Provider：S3

  • liuk2i33 •
    付费者

    全量上传，从 minio 那边看调大 Timeout 能多上传一些，最大值 300 但是还是不够，还没传完就失败了

  • liuk2i33 •
    付费者

    这个上限值开大一些吧，不太够用

  • liuk2i33 •
    付费者

    我看是只要有一个失败就得重新上传，那时间也不影响，全量上传还是得网络稳定，实在不行多试试吧，这个问题还有什么好的解决方案吗

请输入回帖内容 ...
nij
北京
回帖
6
 帖子
1
 积分
518

近期热议

推荐标签 标签

  • Python

    Python 是一种面向对象、直译式电脑编程语言，具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法简捷和清晰，尽量使用无异义的英语单词，与其它大多数程序设计语言使用大括号不一样，它使用缩进来定义语句块。

    556 引用 • 675 回帖
  • 代码片段

    代码片段分为 CSS 与 JS 两种代码，添加在 [设置 - 外观 - 代码片段] 中，这些代码会在思源笔记加载时自动执行，用于改善笔记的样式或功能。

    用户在该标签下分享代码片段时需在帖子标题前添加 [css] 或 [js] 用于区分代码片段类型。

    141 引用 • 947 回帖 • 2 关注
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖
  • golang

    Go 语言是 Google 推出的一种全新的编程语言，可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克（Rob Pike）说：我们之所以开发 Go，是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。

    498 引用 • 1395 回帖 • 251 关注
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

    117 引用 • 99 回帖 • 209 关注
  • 禅道

    禅道是一款国产的开源项目管理软件，她的核心管理思想基于敏捷方法 scrum，内置了产品管理和项目管理，同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能，在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来，完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 27 关注
  • CSS

    CSS（Cascading Style Sheet）“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    199 引用 • 542 回帖
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成，还支持通过插件进行扩展。

    10 引用 • 5 回帖
  • HBase

    HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable：一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 59 关注
  • 脑图

    脑图又叫思维导图，是表达发散性思维的有效图形思维工具 ，它简单却又很有效，是一种实用性的思维工具。

    31 引用 • 97 回帖
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。

    76 引用 • 258 回帖 • 625 关注
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言，应用广泛。C++ 支持多种编程范式，面向对象编程、泛型编程和过程化编程。

    107 引用 • 153 回帖 • 1 关注
  • V2EX

    V2EX 是创意工作者们的社区。这里目前汇聚了超过 400,000 名主要来自互联网行业、游戏行业和媒体行业的创意工作者。V2EX 希望能够成为创意工作者们的生活和事业的一部分。

    16 引用 • 236 回帖 • 266 关注
  • 区块链

    区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法 。

    92 引用 • 752 回帖
  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    25102 引用 • 103489 回帖
  • Ubuntu

    Ubuntu（友帮拓、优般图、乌班图）是一个以桌面应用为主的 Linux 操作系统，其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观，类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    127 引用 • 169 回帖
  • 电影

    这是一个不能说的秘密。

    122 引用 • 608 回帖
  • Swagger

    Swagger 是一款非常流行的 API 开发工具，它遵循 OpenAPI Specification（这是一种通用的、和编程语言无关的 API 描述规范）。Swagger 贯穿整个 API 生命周期，如 API 的设计、编写文档、测试和部署。

    26 引用 • 35 回帖
  • 深度学习

    深度学习（Deep Learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    53 引用 • 40 回帖
  • RemNote
    2 引用 • 16 回帖 • 8 关注
  • 前端

    前端技术一般分为前端设计和前端开发，前端设计可以理解为网站的视觉设计，前端开发则是网站的前台代码实现，包括 HTML、CSS 以及 JavaScript 等。

    245 引用 • 1338 回帖
  • 快应用

    快应用 是基于手机硬件平台的新型应用形态；标准是由主流手机厂商组成的快应用联盟联合制定；快应用标准的诞生将在研发接口、能力接入、开发者服务等层面建设标准平台；以平台化的生态模式对个人开发者和企业开发者全品类开放。

    15 引用 • 127 回帖
  • 链书

    链书（Chainbook）是 B3log 开源社区提供的区块链纸质书交易平台，通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书，我们共同构建这个全新的交易平台，让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线，也许以后还有计划重制上线。

    14 引用 • 257 回帖 • 2 关注
  • 微服务

    微服务架构是一种架构模式，它提倡将单一应用划分成一组小的服务。服务之间互相协调，互相配合，为用户提供最终价值。每个服务运行在独立的进程中。服务于服务之间才用轻量级的通信机制互相沟通。每个服务都围绕着具体业务构建，能够被独立的部署。

    96 引用 • 155 回帖
  • 钉钉

    钉钉，专为中国企业打造的免费沟通协同多端平台， 阿里巴巴出品。

    15 引用 • 67 回帖 • 291 关注
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目，是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台，为开发者提供便利的 API 接口来调用服务，让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 493 关注
  • LeetCode

    LeetCode（力扣）是一个全球极客挚爱的高质量技术成长平台，想要学习和提升专业能力从这里开始，充足技术干货等你来啃，轻松拿下 Dream Offer！

    209 引用 • 72 回帖

最新标签