登录 注册

思源是否可以针对大文件的 S3 同步，设定一个文件分块上传？

本贴最后更新于 183 天前，其中的信息可能已经时移俗易

在公司的网络，一旦文件超过 10mb，就很容易文件传输失败。

是否可以自动分块在 S3 存储大文件？这个分块的大小希望用户可以设置。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    21193 引用 • 83520 回帖 • 1 关注
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    7543 引用 • 34344 回帖 • 197 关注
广州 位置
20 悬赏
1 关注
7 回帖
2
2
268 178 1 77 9 1

相关帖子

7 回帖
思源是否可以针对大文件的 S3 同步，设定一个文件分块上传？

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • Bike •
    订阅者 捐赠者 恶龙

    顶一下，确实本地文件太大，s3 半天同步不上去,还超时 😂 我也有这个问题

  • 其他回帖
  • mozhu • • 8 评论
    订阅者 付费者 支持者 捐赠者

    S3 本身就是切割成很多个小块来的，现在的问题一般不是单个文件，而是整体同步，比如上传带宽太小，整体容易超时。。几百个小文件在那等着。结果有的人用服务器做 S3，4m 小水管。。即使一个文件只有 5m，都要传半天。

    那就是 S3 服务自己的问题咯？
    PiChou •
    @PiChou 都有问题，比如思源的上传超时时间，我记得比较短。 如果有非常大的数据量，比如十几 G 的，那我个人是建议分批上传。比如新建个空间，先导入一部分数据，同步完成再导入剩下的数据再同步。
    mozhu •
    @mozhu 所以有优化的办法吗？
    ljq29 •
    @ljq29 换别的网络，或者用手机伺服给公司电脑就行。公司电脑上不需要装思源，手机上装就好
    mozhu •
    @mozhu 现在是公司电脑安装了思源，但是使用手机热点也会大文件同步出错（20mb 以上就会挂）
    ljq29 •
    @ljq29 你还是看看你 S3 本身有没有限制吧。思源不存在什么大文件的说法，都是打包一起拆分的。所以你说的 20m 是指的什么 20m？是整个 repo 文件夹 20m?
    mozhu •
    @mozhu S3 没有问题，但是公司网络会有问题，如果有大文件附件，会同步失败。我说的 20m 是单个文件附件 20m 的上传，如果是下载同步，没有问题
    ljq29 •
    @ljq29 不管是多大的附件，在思源里都是会一起打包拆分的，不会单独只上传某个东西。
    mozhu •
  • 88250 •
    订阅者 MOD

    大于 512K 的文件会自动分块，单个分块最小 512K、最大 8M；不支持设置分块大小。

    1 回复
  • zxhd86 •
    订阅者 先知

    思源现在就是拆成小块的吧……你可以搜索看一下 repo 目录下的文件最大大小，我印象里就是已经拆过的，不过不是很确定

  • 查看全部回帖
ljq29
广州
回帖
81
 帖子
37
 积分
131

近期热议

推荐标签 标签

  • 持续集成

    持续集成（Continuous Integration）是一种软件开发实践，即团队开发成员经常集成他们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误。

    15 引用 • 7 回帖
  • CSS

    CSS（Cascading Style Sheet）“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    194 引用 • 515 回帖
  • 单点登录

    单点登录（Single Sign On）是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖
  • Lute

    Lute 是一款结构化的 Markdown 引擎，支持 Go 和 JavaScript。

    25 引用 • 191 回帖 • 22 关注
  • Notion

    Notion - The all-in-one workspace for your notes, tasks, wikis, and databases.

    5 引用 • 26 回帖
  • 安全

    安全永远都不是一个小问题。

    200 引用 • 816 回帖 • 1 关注
  • HBase

    HBase 是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的 Google 论文 “Bigtable：一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统所提供的分布式数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力。

    17 引用 • 6 回帖 • 70 关注
  • 微服务

    微服务架构是一种架构模式，它提倡将单一应用划分成一组小的服务。服务之间互相协调，互相配合，为用户提供最终价值。每个服务运行在独立的进程中。服务于服务之间才用轻量级的通信机制互相沟通。每个服务都围绕着具体业务构建，能够被独立的部署。

    96 引用 • 155 回帖
  • 反馈

    Communication channel for makers and users.

    123 引用 • 910 回帖 • 228 关注
  • 导航

    各种网址链接、内容导航。

    38 引用 • 169 回帖
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大，比用其他编程程序编辑的程序效率更高，因为它使用了 Linux/Unix 下的命令。

    122 引用 • 73 回帖
  • RYMCU

    RYMCU 致力于打造一个即严谨又活泼、专业又不失有趣，为数百万人服务的开源嵌入式知识学习交流平台。

    4 引用 • 6 回帖 • 50 关注
  • Solidity

    Solidity 是一种智能合约高级语言，运行在 [以太坊] 虚拟机（EVM）之上。它的语法接近于 JavaScript，是一种面向对象的语言。

    3 引用 • 18 回帖 • 376 关注
  • OpenStack

    OpenStack 是一个云操作系统，通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成，同样也可以通过 Web 接口让最终用户部署资源。

    10 引用
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 31 关注
  • Ngui

    Ngui 是一个 GUI 的排版显示引擎和跨平台的 GUI 应用程序开发框架，基于
    Node.js / OpenGL。目标是在此基础上开发 GUI 应用程序可拥有开发 WEB 应用般简单与速度同时兼顾 Native 应用程序的性能与体验。

    7 引用 • 9 回帖 • 378 关注
  • SQLite

    SQLite 是一个进程内的库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是全世界使用最为广泛的数据库引擎。

    5 引用 • 7 回帖 • 1 关注
  • 区块链

    区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法 。

    91 引用 • 751 回帖
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    70 引用 • 533 回帖 • 760 关注
  • SVN

    SVN 是 Subversion 的简称，是一个开放源代码的版本控制系统，相较于 RCS、CVS，它采用了分支管理系统，它的设计目标就是取代 CVS。

    29 引用 • 98 回帖 • 694 关注
  • uTools

    uTools 是一个极简、插件化、跨平台的现代桌面软件。通过自由选配丰富的插件，打造你得心应手的工具集合。

    5 引用 • 13 回帖 • 1 关注
  • GAE

    Google App Engine（GAE）是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 732 关注
  • SSL

    SSL（Secure Sockets Layer 安全套接层），及其继任者传输层安全（Transport Layer Security，TLS）是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    70 引用 • 193 回帖 • 446 关注
  • Sillot

    Insights（注意当前设置 master 为默认分支）

    汐洛彖夲肜矩阵（Sillot T☳Converbenk Matrix），致力于服务智慧新彖乄，具有彖乄驱动、极致优雅、开发者友好的特点。其中汐洛绞架（Sillot-Gibbet）基于自思源笔记（siyuan-note），前身是思源笔记汐洛版（更早是思源笔记汐洛分支），是智慧新录乄终端（多端融合，移动端优先）。

    主仓库地址：Hi-Windom/Sillot

    文档地址：sillot.db.sc.cn

    注意事项：

    1. ⚠️ 汐洛仍在早期开发阶段，尚不稳定
    2. ⚠️ 汐洛并非面向普通用户设计，使用前请了解风险
    3. ⚠️ 汐洛绞架基于思源笔记，开发者尽最大努力与思源笔记保持兼容，但无法实现 100% 兼容
    29 引用 • 25 回帖 • 72 关注
  • 博客

    记录并分享人生的经历。

    272 引用 • 2386 回帖
  • Flume

    Flume 是一套分布式的、可靠的，可用于有效地收集、聚合和搬运大量日志数据的服务架构。

    9 引用 • 6 回帖 • 625 关注
  • Scala

    Scala 是一门多范式的编程语言，集成面向对象编程和函数式编程的各种特性。

    13 引用 • 11 回帖 • 117 关注

最新标签