登录 注册

思源是否可以针对大文件的 S3 同步，设定一个文件分块上传？

本贴最后更新于 373 天前，其中的信息可能已经时移俗易

在公司的网络，一旦文件超过 10mb，就很容易文件传输失败。

是否可以自动分块在 S3 存储大文件？这个分块的大小希望用户可以设置。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    24904 引用 • 102551 回帖
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    9464 引用 • 43140 回帖 • 108 关注
广州 位置
20 悬赏
1 关注
7 回帖
2
2
396 183 1 160 5 10 35

相关帖子

7 回帖
思源是否可以针对大文件的 S3 同步，设定一个文件分块上传？

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • Bike •
    订阅者 捐赠者 恶龙

    顶一下，确实本地文件太大，s3 半天同步不上去,还超时 😂 我也有这个问题

  • 其他回帖
  • mozhu • • 8 评论
    订阅者 付费者 支持者 捐赠者

    S3 本身就是切割成很多个小块来的，现在的问题一般不是单个文件，而是整体同步，比如上传带宽太小，整体容易超时。。几百个小文件在那等着。结果有的人用服务器做 S3，4m 小水管。。即使一个文件只有 5m，都要传半天。

    那就是 S3 服务自己的问题咯？
    PiChou •
    @PiChou 都有问题，比如思源的上传超时时间，我记得比较短。 如果有非常大的数据量，比如十几 G 的，那我个人是建议分批上传。比如新建个空间，先导入一部分数据，同步完成再导入剩下的数据再同步。
    mozhu •
    @mozhu 所以有优化的办法吗？
    ljq29 •
    @ljq29 换别的网络，或者用手机伺服给公司电脑就行。公司电脑上不需要装思源，手机上装就好
    mozhu •
    @mozhu 现在是公司电脑安装了思源，但是使用手机热点也会大文件同步出错（20mb 以上就会挂）
    ljq29 •
    @ljq29 你还是看看你 S3 本身有没有限制吧。思源不存在什么大文件的说法，都是打包一起拆分的。所以你说的 20m 是指的什么 20m？是整个 repo 文件夹 20m?
    mozhu •
    @mozhu S3 没有问题，但是公司网络会有问题，如果有大文件附件，会同步失败。我说的 20m 是单个文件附件 20m 的上传，如果是下载同步，没有问题
    ljq29 •
    @ljq29 不管是多大的附件，在思源里都是会一起打包拆分的，不会单独只上传某个东西。
    mozhu •
  • 88250 •
    订阅者 MOD

    大于 512K 的文件会自动分块，单个分块最小 512K、最大 8M；不支持设置分块大小。

    1 回复
  • ljq29 •
    付费者 作者

    自己顶一下！

  • 查看全部回帖
ljq29
广州
回帖
83
 帖子
37
 积分
195

近期热议

推荐标签 标签

  • Tomcat

    Tomcat 最早是由 Sun Microsystems 开发的一个 Servlet 容器，在 1999 年被捐献给 ASF（Apache Software Foundation），隶属于 Jakarta 项目，现在已经独立为一个顶级项目。Tomcat 主要实现了 JavaEE 中的 Servlet、JSP 规范，同时也提供 HTTP 服务，是市场上非常流行的 Java Web 容器。

    162 引用 • 529 回帖 • 4 关注
  • JSON

    JSON （JavaScript Object Notation）是一种轻量级的数据交换格式。易于人类阅读和编写。同时也易于机器解析和生成。

    52 引用 • 190 回帖
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识，提高团队的工作效率，让用户满意。

    3 引用 • 8 回帖
  • 创业

    你比 99% 的人都优秀么？

    82 引用 • 1395 回帖
  • 七牛云

    七牛云是国内领先的企业级公有云服务商，致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景，七牛先后推出了对象存储，融合 CDN 加速，数据通用处理，内容反垃圾服务，以及直播云服务等。

    28 引用 • 226 回帖 • 136 关注
  • DNSPod

    DNSPod 建立于 2006 年 3 月份，是一款免费智能 DNS 产品。 DNSPod 可以为同时有电信、网通、教育网服务器的网站提供智能的解析，让电信用户访问电信的服务器，网通的用户访问网通的服务器，教育网的用户访问教育网的服务器，达到互联互通的效果。

    6 引用 • 26 回帖 • 532 关注
  • 京东

    京东是中国最大的自营式电商企业，2015 年第一季度在中国自营式 B2C 电商市场的占有率为 56.3%。2014 年 5 月，京东在美国纳斯达克证券交易所正式挂牌上市（股票代码：JD），是中国第一个成功赴美上市的大型综合型电商平台，与腾讯、百度等中国互联网巨头共同跻身全球前十大互联网公司排行榜。

    14 引用 • 102 回帖 • 318 关注
  • Maven

    Maven 是基于项目对象模型（POM）、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    186 引用 • 318 回帖 • 256 关注
  • Pipe

    Pipe 是一款小而美的开源博客平台。Pipe 有着非常活跃的社区，可将文章作为帖子推送到社区，来自社区的回帖将作为博客评论进行联动（具体细节请浏览 B3log 构思 - 分布式社区网络）。

    这是一种全新的网络社区体验，让热爱记录和分享的你不再感到孤单！

    133 引用 • 1124 回帖 • 120 关注
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统（DBMS），它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的，并于 1988 年推出了第一个 OS/2 版本。

    21 引用 • 31 回帖
  • Swagger

    Swagger 是一款非常流行的 API 开发工具，它遵循 OpenAPI Specification（这是一种通用的、和编程语言无关的 API 描述规范）。Swagger 贯穿整个 API 生命周期，如 API 的设计、编写文档、测试和部署。

    26 引用 • 35 回帖 • 3 关注
  • Lute

    Lute 是一款结构化的 Markdown 引擎，支持 Go 和 JavaScript。

    28 引用 • 197 回帖 • 28 关注
  • C

    C 语言是一门通用计算机编程语言，应用广泛。C 语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。

    85 引用 • 165 回帖 • 1 关注
  • PostgreSQL

    PostgreSQL 是一款功能强大的企业级数据库系统，在 BSD 开源许可证下发布。

    22 引用 • 22 回帖 • 1 关注
  • 又拍云

    又拍云是国内领先的 CDN 服务提供商,国家工信部认证通过的“可信云”，乌云众测平台认证的“安全云”，为移动时代的创业者提供新一代的 CDN 加速服务。

    20 引用 • 37 回帖 • 572 关注
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 47 关注
  • 外包

    有空闲时间是接外包好呢还是学习好呢？

    26 引用 • 233 回帖 • 2 关注
  • 宕机

    宕机，多指一些网站、游戏、网络应用等服务器一种区别于正常运行的状态，也叫“Down 机”、“当机”或“死机”。宕机状态不仅仅是指服务器“挂掉了”、“死机了”状态，也包括服务器假死、停用、关闭等一些原因而导致出现的不能够正常运行的状态。

    13 引用 • 82 回帖 • 83 关注
  • 架构

    我们平时所说的“架构”主要是指软件架构，这是有关软件整体结构与组件的抽象描述，用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    143 引用 • 442 回帖
  • Electron

    Electron 基于 Chromium 和 Node.js，让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目，兼容 Mac、Windows 和 Linux，它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖 • 2 关注
  • Follow
    4 引用 • 12 回帖 • 10 关注
  • 叶归
    5 引用 • 16 回帖 • 11 关注
  • Postman

    Postman 是一款简单好用的 HTTP API 调试工具。

    4 引用 • 3 回帖
  • B3log

    B3log 是一个开源组织，名字来源于“Bulletin Board Blog”缩写，目标是将独立博客与论坛结合，形成一种新的网络社区体验，详细请看 B3log 构思。目前 B3log 已经开源了多款产品：Sym、Solo、Vditor 和 思源笔记。

    1063 引用 • 3455 回帖 • 164 关注
  • 工具

    子曰：“工欲善其事，必先利其器。”

    297 引用 • 755 回帖
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成，还支持通过插件进行扩展。

    10 引用 • 5 回帖
  • RIP

    愿逝者安息！

    8 引用 • 92 回帖 • 392 关注

最新标签