登录 注册

"正在上传数据仓库" 特别缓慢

问题：

正在上传.jpg

正在上传数据仓库特别缓慢，需要 10 分钟以上。截图时已经同步了 7 分钟。

频率：经常复现，但非 100%，多见于版本升级，重检索引之后的第一次同步

同步方法：nas，docker 自建的 S3 存储。（docker 容器使用的 minio，重建容器后无改善）

网络环境：中国移动流量，访问自己 nas 无问题。下载文件速度可到 2-3M。

补充：

同步大约发生 25 月 04 月 11 日在 9 点 20-9 点 29（最后提示失败）

重新上传一下日志：systemlog1.zip

更细：感谢下面知道的老师。域名解析配置应该是没有问题的，同设备同网络同域名，在浏览器里是可以正常访问的 minio 的 web 管理端的。上面的问题都是安卓端出的问题，pc 相同配置下没有问题。

不过倒是提醒我了，我的手机客户端是通过换机助手安装的（虽然保持自动更新），是不是存在缓存的问题？我卸载重装之后，同步速度明显变快。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    25520 引用 • 105545 回帖 • 1 关注
1 操作
changbaixiao 在 2025-04-11 15:37:04 更新了该帖
1 操作
3 回帖
133 66 14 1 52

相关帖子

3 回帖
"正在上传数据仓库" 特别缓慢

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • EmptyLight • • 1
    付费者

    日志里常见的错误是未找到域名（不知道这样的主机，unknown such host）和云端区块下载失败，可以检查一下网络环境配置，看看出错时是断网了还是什么问题

    另外日志有几个是说云端数据仓库因其他设备同步中被锁定，如果只有一台设备可能需要排查一下。

  • 其他回帖
  • kami2403 •
    付费者

    使用 Cloudflare 的 R2 存储也是特别的慢，下次换国内云试试

  • JeffreyChen • • 1
    付费者 支持者 捐赠者

    Qwen 是这样说的：

    从提供的日志来看，这些错误信息描述了一个网络连接失败的问题，具体表现为无法解析主机名 nas.514986317.xyz，从而导致了一系列的 S3 操作失败。以下是对问题的详细分析和解释：

    错误的核心

    所有错误的根本原因是：

    dial tcp: lookup nas.514986317.xyz: no such host

    这表明程序尝试通过域名 nas.514986317.xyz 连接到目标服务器时，DNS 解析失败。也就是说，系统无法将域名 nas.514986317.xyz 转换为对应的 IP 地址。

    错误的具体表现

    1. S3 操作失败：

      • 日志中多次提到 operation error S3: PutObject 和 operation error S3: DeleteObject，这些是 AWS S3 API 的操作。
      • 由于 DNS 解析失败，程序无法向 S3 服务发送请求，导致上传文件 (PutObject) 和删除锁对象 (DeleteObject) 等操作全部失败。

    2. 同步失败：

      • 日志中提到 sync failed caused by network，说明数据同步操作因网络问题而中断。
      • 同步过程中需要访问 https://nas.514986317.xyz:39008/，但由于 DNS 解析失败，同步无法完成。

    3. 网络检查失败：

      • 日志中有多次尝试检查 URL https://nas.514986317.xyz:39008/ 是否在线，但每次都因为 DNS 解析失败而返回错误。
      • 最终，程序判定网络处于离线状态：network is offline [checkURL=https://nas.514986317.xyz:39008/]。

    可能的原因

    根据错误信息，以下是可能导致问题的原因：

    1. DNS 配置问题：

      • 系统的 DNS 配置可能有问题，导致无法解析 nas.514986317.xyz。
      • 可能是因为 DNS 服务器不可用、配置错误，或者域名未正确注册。

    2. 域名未注册或已过期：

      • 如果 nas.514986317.xyz 是一个自定义域名，可能未正确注册，或者域名已过期。

    3. 网络连接问题：

      • 程序运行的设备可能无法访问外部网络（例如，防火墙、代理设置、网络中断等）。

    4. 本地 hosts 文件问题：

      • 如果程序依赖本地 hosts 文件来解析域名，可能是 hosts 文件中缺少对 nas.514986317.xyz 的映射。

    5. 服务端问题：

      • 目标服务器 nas.514986317.xyz 可能已经下线，或者其 DNS 记录被移除。

    解决方法

    针对上述可能的原因，可以按照以下步骤逐一排查和解决问题：

    1. 检查域名解析

    • 在终端中运行以下命令，检查域名是否可以解析：

      nslookup nas.514986317.xyz

      或者：

      ping nas.514986317.xyz

    • 如果解析失败，说明域名配置有问题，需要联系域名提供商或管理员确认域名状态。

    2. 检查网络连接

    • 确保运行程序的设备可以正常访问外部网络。
    • 测试其他网站是否可以访问，例如： 
      ping www.google.com
    • 如果网络不通，检查路由器、防火墙或代理设置。

    3. 检查本地 hosts 文件

    • 查看本地 hosts 文件（通常位于 /etc/hosts 或 C:\Windows\System32\drivers\etc\hosts），确认是否有如下内容： 
      <IP地址> nas.514986317.xyz
    • 如果没有，且你知道目标服务器的 IP 地址，可以手动添加映射。

    4. 检查目标服务器状态

    • 确认目标服务器 nas.514986317.xyz 是否在线。
    • 如果服务器由你管理，检查其 DNS 配置和服务状态。

    5. 使用 IP 地址替代域名

    • 如果域名解析问题无法快速解决，可以尝试直接使用目标服务器的 IP 地址（如果已知）。
    • 修改程序配置，将 nas.514986317.xyz 替换为实际的 IP 地址。

    6. 联系管理员或技术支持

    • 如果以上方法均无效，建议联系程序的技术支持团队或服务器管理员，提供完整的日志信息以协助排查。

    总结

    该问题的根本原因是 DNS 解析失败，导致程序无法连接到目标服务器。通过检查 DNS 配置、网络连接、hosts 文件以及目标服务器状态，可以逐步定位并解决问题。如果问题复杂或涉及多方协作，建议及时联系相关人员进行排查。

changbaixiao
回帖
0
 帖子
3
 积分
515

近期热议

推荐标签 标签

  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。

    118 引用 • 54 回帖 • 5 关注
  • gRpc
    11 引用 • 9 回帖 • 92 关注
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务，可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务，所以该项目也已经停止维护了！

    35 引用 • 468 回帖 • 763 关注
  • Visio
    1 引用 • 2 回帖 • 1 关注
  • Sillot

    Insights（注意当前设置 master 为默认分支）

    汐洛彖夲肜矩阵（Sillot T☳Converbenk Matrix），致力于服务智慧新彖乄，具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架（Sillot-Gibbet）基于自思源笔记（siyuan-note），前身是思源笔记汐洛版（更早是思源笔记汐洛分支），是智慧新录乄终端（多端融合，移动端优先）。

    主仓库地址：Hi-Windom/Sillot

    文档地址：sillot.db.sc.cn

    注意事项：

    1. ⚠️ 汐洛仍在早期开发阶段，尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计，使用前请了解风险
    3. ⚠️ 汐洛绞架基于思源笔记，开发者尽最大努力与思源笔记保持兼容，但无法实现 100% 兼容
    29 引用 • 25 回帖 • 117 关注
  • OpenShift

    红帽提供的 PaaS 云，支持多种编程语言，为开发人员提供了更为灵活的框架、存储选择。

    14 引用 • 20 回帖 • 658 关注
  • iOS

    iOS 是由苹果公司开发的移动操作系统，最早于 2007 年 1 月 9 日的 Macworld 大会上公布这个系统，最初是设计给 iPhone 使用的，后来陆续套用到 iPod touch、iPad 以及 Apple TV 等产品上。iOS 与苹果的 Mac OS X 操作系统一样，属于类 Unix 的商业操作系统。

    89 引用 • 150 回帖 • 1 关注
  • PHP

    PHP（Hypertext Preprocessor）是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点，主要适用于 Web 开发领域，据说是世界上最好的编程语言。

    182 引用 • 408 回帖 • 490 关注
  • frp

    frp 是一个可用于内网穿透的高性能的反向代理应用，支持 TCP、UDP、 HTTP 和 HTTPS 协议。

    20 引用 • 7 回帖
  • Love2D

    Love2D 是一个开源的， 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 554 关注
  • 30Seconds

    📙 前端知识精选集，包含 HTML、CSS、JavaScript、React、Node、安全等方面，每天仅需 30 秒。

    • 精选常见面试题，帮助您准备下一次面试
    • 精选常见交互，帮助您拥有简洁酷炫的站点
    • 精选有用的 React 片段，帮助你获取最佳实践
    • 精选常见代码集，帮助您提高打码效率
    • 整理前端界的最新资讯，邀您一同探索新世界
    488 引用 • 384 回帖 • 9 关注
  • API

    应用程序编程接口（Application Programming Interface）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

    79 引用 • 431 回帖
  • Hibernate

    Hibernate 是一个开放源代码的对象关系映射框架，它对 JDBC 进行了非常轻量级的对象封装，使得 Java 程序员可以随心所欲的使用对象编程思维来操纵数据库。

    39 引用 • 103 回帖 • 727 关注
  • OneDrive
    2 引用
  • Flume

    Flume 是一套分布式的、可靠的，可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 654 关注
  • 负能量

    上帝为你关上了一扇门，然后就去睡觉了....努力不一定能成功，但不努力一定很轻松 (° ー °〃)

    89 引用 • 1251 回帖 • 407 关注
  • Anytype
    3 引用 • 31 回帖 • 16 关注
  • OneNote
    1 引用 • 3 回帖
  • jsDelivr

    jsDelivr 是一个开源的 CDN 服务，可为 npm 包、GitHub 仓库提供免费、快速并且可靠的全球 CDN 加速服务。

    5 引用 • 31 回帖 • 108 关注
  • C

    C 语言是一门通用计算机编程语言，应用广泛。C 语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。

    86 引用 • 165 回帖 • 3 关注
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具，主要功能包括：位置相关的内容递送；用户认证和授权；集中式网络监控。

    1 引用 • 7 回帖 • 610 关注
  • Markdown

    Markdown 是一种轻量级标记语言，用户可使用纯文本编辑器来排版文档，最终通过 Markdown 引擎将文档转换为所需格式（比如 HTML、PDF 等）。

    170 引用 • 1529 回帖
  • 浅吟主题

    Jeffrey Chen 制作的思源笔记主题，项目仓库：https://github.com/TCOTC/Whisper

    1 引用 • 28 回帖 • 2 关注
  • Ngui

    Ngui 是一个 GUI 的排版显示引擎和跨平台的 GUI 应用程序开发框架，基于
    Node.js / OpenGL。目标是在此基础上开发 GUI 应用程序可拥有开发 WEB 应用般简单与速度同时兼顾 Native 应用程序的性能与体验。

    7 引用 • 9 回帖 • 396 关注
  • H2

    H2 是一个开源的嵌入式数据库引擎，采用 Java 语言编写，不受平台的限制，同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式，可以兼容一些主流的数据库，因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 667 关注
  • Mobi.css

    Mobi.css is a lightweight, flexible CSS framework that focus on mobile.

    1 引用 • 6 回帖 • 760 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖

最新标签