"正在上传数据仓库" 特别缓慢

问题:

正在上传.jpg

正在上传数据仓库特别缓慢,需要 10 分钟以上。截图时已经同步了 7 分钟。

频率:经常复现,但非 100%,多见于版本升级,重检索引之后的第一次同步

同步方法:nas,docker 自建的 S3 存储。(docker 容器使用的 minio,重建容器后无改善)

网络环境:中国移动流量,访问自己 nas 无问题。下载文件速度可到 2-3M。

补充:

同步大约发生 25 月 04 月 11 日在 9 点 20-9 点 29(最后提示失败)

重新上传一下日志:systemlog1.zip

更细:感谢下面知道的老师。域名解析配置应该是没有问题的,同设备同网络同域名,在浏览器里是可以正常访问的 minio 的 web 管理端的。上面的问题都是安卓端出的问题,pc 相同配置下没有问题。

不过倒是提醒我了,我的手机客户端是通过换机助手安装的(虽然保持自动更新),是不是存在缓存的问题?我卸载重装之后,同步速度明显变快。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    26401 引用 • 109792 回帖 • 2 关注
1 操作
changbaixiao 在 2025-04-11 15:37:04 更新了该帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • EmptyLight 1

    日志里常见的错误是未找到域名(不知道这样的主机,unknown such host)和云端区块下载失败,可以检查一下网络环境配置,看看出错时是断网了还是什么问题

    另外日志有几个是说云端数据仓库因其他设备同步中被锁定,如果只有一台设备可能需要排查一下。

  • Qwen 是这样说的:

    从提供的日志来看,这些错误信息描述了一个网络连接失败的问题,具体表现为无法解析主机名 nas.514986317.xyz,从而导致了一系列的 S3 操作失败。以下是对问题的详细分析和解释:


    错误的核心

    所有错误的根本原因是:

    dial tcp: lookup nas.514986317.xyz: no such host

    这表明程序尝试通过域名 nas.514986317.xyz 连接到目标服务器时,DNS 解析失败。也就是说,系统无法将域名 nas.514986317.xyz 转换为对应的 IP 地址。


    错误的具体表现

    1. S3 操作失败

      • 日志中多次提到 operation error S3: PutObjectoperation error S3: DeleteObject,这些是 AWS S3 API 的操作。
      • 由于 DNS 解析失败,程序无法向 S3 服务发送请求,导致上传文件 (PutObject) 和删除锁对象 (DeleteObject) 等操作全部失败。
    2. 同步失败

      • 日志中提到 sync failed caused by network,说明数据同步操作因网络问题而中断。
      • 同步过程中需要访问 https://nas.514986317.xyz:39008/,但由于 DNS 解析失败,同步无法完成。
    3. 网络检查失败

      • 日志中有多次尝试检查 URL https://nas.514986317.xyz:39008/ 是否在线,但每次都因为 DNS 解析失败而返回错误。
      • 最终,程序判定网络处于离线状态:network is offline [checkURL=https://nas.514986317.xyz:39008/]

    可能的原因

    根据错误信息,以下是可能导致问题的原因:

    1. DNS 配置问题

      • 系统的 DNS 配置可能有问题,导致无法解析 nas.514986317.xyz
      • 可能是因为 DNS 服务器不可用、配置错误,或者域名未正确注册。
    2. 域名未注册或已过期

      • 如果 nas.514986317.xyz 是一个自定义域名,可能未正确注册,或者域名已过期。
    3. 网络连接问题

      • 程序运行的设备可能无法访问外部网络(例如,防火墙、代理设置、网络中断等)。
    4. 本地 hosts 文件问题

      • 如果程序依赖本地 hosts 文件来解析域名,可能是 hosts 文件中缺少对 nas.514986317.xyz 的映射。
    5. 服务端问题

      • 目标服务器 nas.514986317.xyz 可能已经下线,或者其 DNS 记录被移除。

    解决方法

    针对上述可能的原因,可以按照以下步骤逐一排查和解决问题:

    1. 检查域名解析

    • 在终端中运行以下命令,检查域名是否可以解析:

      nslookup nas.514986317.xyz

      或者:

      ping nas.514986317.xyz
    • 如果解析失败,说明域名配置有问题,需要联系域名提供商或管理员确认域名状态。

    2. 检查网络连接

    • 确保运行程序的设备可以正常访问外部网络。
    • 测试其他网站是否可以访问,例如:
      ping www.google.com
    • 如果网络不通,检查路由器、防火墙或代理设置。

    3. 检查本地 hosts 文件

    • 查看本地 hosts 文件(通常位于 /etc/hostsC:\Windows\System32\drivers\etc\hosts),确认是否有如下内容:
      <IP地址> nas.514986317.xyz
    • 如果没有,且你知道目标服务器的 IP 地址,可以手动添加映射。

    4. 检查目标服务器状态

    • 确认目标服务器 nas.514986317.xyz 是否在线。
    • 如果服务器由你管理,检查其 DNS 配置和服务状态。

    5. 使用 IP 地址替代域名

    • 如果域名解析问题无法快速解决,可以尝试直接使用目标服务器的 IP 地址(如果已知)。
    • 修改程序配置,将 nas.514986317.xyz 替换为实际的 IP 地址。

    6. 联系管理员或技术支持

    • 如果以上方法均无效,建议联系程序的技术支持团队或服务器管理员,提供完整的日志信息以协助排查。

    总结

    该问题的根本原因是 DNS 解析失败,导致程序无法连接到目标服务器。通过检查 DNS 配置、网络连接、hosts 文件以及目标服务器状态,可以逐步定位并解决问题。如果问题复杂或涉及多方协作,建议及时联系相关人员进行排查。

  • kami2403

    使用 Cloudflare 的 R2 存储也是特别的慢,下次换国内云试试

推荐标签 标签

  • DNSPod

    DNSPod 建立于 2006 年 3 月份,是一款免费智能 DNS 产品。 DNSPod 可以为同时有电信、网通、教育网服务器的网站提供智能的解析,让电信用户访问电信的服务器,网通的用户访问网通的服务器,教育网的用户访问教育网的服务器,达到互联互通的效果。

    6 引用 • 26 回帖 • 532 关注
  • SMTP

    SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。SMTP 协议属于 TCP/IP 协议簇,它帮助每台计算机在发送或中转信件时找到下一个目的地。

    4 引用 • 18 回帖 • 640 关注
  • Ruby

    Ruby 是一种开源的面向对象程序设计的服务器端脚本语言,在 20 世纪 90 年代中期由日本的松本行弘(まつもとゆきひろ/Yukihiro Matsumoto)设计并开发。在 Ruby 社区,松本也被称为马茨(Matz)。

    7 引用 • 31 回帖 • 269 关注
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台, 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动, 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖 • 2 关注
  • JetBrains

    JetBrains 是一家捷克的软件开发公司,该公司位于捷克的布拉格,并在俄国的圣彼得堡及美国麻州波士顿都设有办公室,该公司最为人所熟知的产品是 Java 编程语言开发撰写时所用的集成开发环境:IntelliJ IDEA

    18 引用 • 54 回帖
  • API

    应用程序编程接口(Application Programming Interface)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。

    79 引用 • 431 回帖 • 3 关注
  • Sym

    Sym 是一款用 Java 实现的现代化社区(论坛/BBS/社交网络/博客)系统平台。

    下一代的社区系统,为未来而构建

    524 引用 • 4601 回帖 • 710 关注
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    36 引用 • 200 回帖 • 39 关注
  • LaTeX

    LaTeX(音译“拉泰赫”)是一种基于 ΤΕΧ 的排版系统,由美国计算机学家莱斯利·兰伯特(Leslie Lamport)在 20 世纪 80 年代初期开发,利用这种格式,即使使用者没有排版和程序设计的知识也可以充分发挥由 TeX 所提供的强大功能,能在几天,甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式,这一点表现得尤为突出。因此它非常适用于生成高印刷质量的科技和数学类文档。

    12 引用 • 59 回帖
  • Anytype
    3 引用 • 31 回帖 • 28 关注
  • Facebook

    Facebook 是一个联系朋友的社交工具。大家可以通过它和朋友、同事、同学以及周围的人保持互动交流,分享无限上传的图片,发布链接和视频,更可以增进对朋友的了解。

    4 引用 • 15 回帖 • 442 关注
  • 正则表达式

    正则表达式(Regular Expression)使用单个字符串来描述、匹配一系列遵循某个句法规则的字符串。

    31 引用 • 94 回帖
  • SVN

    SVN 是 Subversion 的简称,是一个开放源代码的版本控制系统,相较于 RCS、CVS,它采用了分支管理系统,它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 697 关注
  • flomo

    flomo 是新一代 「卡片笔记」 ,专注在碎片化时代,促进你的记录,帮你积累更多知识资产。

    6 引用 • 143 回帖
  • RabbitMQ

    RabbitMQ 是一个开源的 AMQP 实现,服务器端用 Erlang 语言编写,支持多种语言客户端,如:Python、Ruby、.NET、Java、C、PHP、ActionScript 等。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。

    49 引用 • 60 回帖 • 353 关注
  • ZeroNet

    ZeroNet 是一个基于比特币加密技术和 BT 网络技术的去中心化的、开放开源的网络和交流系统。

    1 引用 • 21 回帖 • 650 关注
  • CSDN

    CSDN (Chinese Software Developer Network) 创立于 1999 年,是中国的 IT 社区和服务平台,为中国的软件开发者和 IT 从业者提供知识传播、职业发展、软件开发等全生命周期服务,满足他们在职业发展中学习及共享知识和信息、建立职业发展社交圈、通过软件开发实现技术商业化等刚性需求。

    14 引用 • 155 回帖
  • Solidity

    Solidity 是一种智能合约高级语言,运行在 [以太坊] 虚拟机(EVM)之上。它的语法接近于 JavaScript,是一种面向对象的语言。

    3 引用 • 18 回帖 • 445 关注
  • 禅道

    禅道是一款国产的开源项目管理软件,她的核心管理思想基于敏捷方法 scrum,内置了产品管理和项目管理,同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能,在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来,完整地覆盖了项目管理的核心流程。

    10 引用 • 15 回帖
  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    246 引用 • 1338 回帖
  • RemNote
    2 引用 • 16 回帖 • 25 关注
  • 一些有用的避坑指南。

    69 引用 • 93 回帖
  • Visio
    1 引用 • 2 回帖 • 3 关注
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    142 引用 • 442 回帖
  • 京东

    京东是中国最大的自营式电商企业,2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月,京东在美国纳斯达克证券交易所正式挂牌上市(股票代码:JD),是中国第一个成功赴美上市的大型综合型电商平台,与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 313 关注
  • 负能量

    上帝为你关上了一扇门,然后就去睡觉了....努力不一定能成功,但不努力一定很轻松 (° ー °〃)

    89 引用 • 1251 回帖 • 392 关注
  • BND

    BND(Baidu Netdisk Downloader)是一款图形界面的百度网盘不限速下载器,支持 Windows、Linux 和 Mac,详细介绍请看这里

    107 引用 • 1281 回帖 • 38 关注