介绍
关于 rclone
Rclone 是一个用于管理云存储的命令行程序。它特性丰富,可作为的云服务提供商的 web 界面替代品。有超过 40 个云存储产品支持 rclone,包括 S3 对象存储、商用&个人云存储服务、和标准传输协议。
对于 Unix 命令例如 rsync、cp、mv、mount、ls、ncdu、tree、rm、cat,Rclone 有强大的等效命令。Rclone 的相似的语法也支持 shell 管道,并且有 --dry-run
保护选项。它可以以命令行使用、以脚本使用、以 API 使用。
用户们把 rclone 称作“云存储的瑞士军刀” 和 “来自魔法的无可替代的科技”
Rclone 可以看管好你的数据,它时刻保存时间戳并校验 checksums。在有限的带宽下传输;可以断续连接、或者配额对象可被重启,直到最后一个完好的文件被传输。你可以检查你文件的完整性。当可能的时候,rclone 会让服务端传输文件,以最小化从服务端一个位置移动到另一个位置所需的带宽,无需占用本地存储。
虚拟后台包装本地和云文件,用以 加密, 缓存, 分块 和 合并.
Rclone 在 Windows、macOS、linux 、FreeBSD 上 挂载 任何本地、云、虚拟文件系统作为磁盘,并且能以 SFTP, HTTP, WebDAV, FTP 和 DLNA 协议提供文件夹在线访问服务。
Rclone 是受 rsync 启发,用 go 语言编写的成熟、开源的软件。友好的社区熟悉各种用例。官方 Ubuntu、Debian、Fedora、Brew 、Chocolatey 仓库都有 rclone。如果想要最新版本,推荐从 downloading from rclone.org 下载。
Rclone 已在 Linux、Windows 、Mac 上被广泛使用。第三方开发者使用 rclone 命令行或 API 开发了创新性的备份、恢复、GUI、商用 进程解决方案。
Rclone 是一个可以干云存储交互重活的工具。
Rclone 可以为你做什么?
Rclone 可以帮你:
- 备份(和加密)文件到云存储
- 从云存储恢复(和解密)文件
- 镜像云数据到另一个云服务,或者与本地存储协作
- 迁移数据到云上,或者在不同云存储商之间
- 挂载多个、加密的、缓存的或分开的云存储为一个磁盘
- 使用 lsf,ljson,size,ncdu 分析和统计云上的数据
- 统一文件系统,使多个本地或者云存储为展示一个盘
特性
- 传输
- 为了保证文件完整性,时刻校验 MD5, SHA1 哈希值
- 在文件中保存时间戳
- 操作可以在任何时刻重启
- 可以在两个不同的云服务商间工作
- 可以使用多线程下载到硬盘
- Copy 复制新的或者更改了的文件到云存储
- Sync 单向同步,使得两边相等
- Move 将本地文件移动到云存储,并在校验完成后删除本地文件
- Check 检查哈希值以查看有没有缺失或新增的文件
- Mount 挂载云存储为磁盘
- Serve 通过 HTTP/WebDav/FTP/SFTP/dlna 协议提供文件在线访问服务
- 实验性的网页 GUI
支持的云服务
(其实还有许多服务商,基于例如 WebDAV or S3 的公用协议,就不在这里列出了)
- 1Fichier Home Config
- Alibaba Cloud (Aliyun) Object Storage System (OSS) Home Config
- Amazon Drive (See note) Home Config
- Amazon S3 Home Config
- Backblaze B2 Home Config
- Box Home Config
- Ceph Home Config
- Citrix ShareFile Home Config
- C14 Home Config
- DigitalOcean Spaces Home Config
- Dreamhost Home Config
- Dropbox Home Config
- FTP Home Config
- Google Cloud Storage Home Config
- Google Drive Home Config
- Google Photos Home Config
- HTTP Home Config
- Hubic Home Config
- Jottacloud Home Config
- IBM COS S3 Home Config
- Koofr Home Config
- Mail.ru Cloud Home Config
- Memset Memstore Home Config
- Mega Home Config
- Memory Home Config
- Microsoft Azure Blob Storage Home Config
- Microsoft OneDrive Home Config
- Minio Home Config
- Nextcloud Home Config
- OVH Home Config
- OpenDrive Home Config
- OpenStack Swift Home Config
- Oracle Cloud Storage Home Config
- ownCloud Home Config
- pCloud Home Config
- premiumize.me Home Config
- put.io Home Config
- QingStor Home Config
- Rackspace Cloud Files Home Config
- rsync.net Home Config
- Scaleway Home Config
- Seafile Home Config
- SFTP Home Config
- StackPath Home Config
- SugarSync Home Config
- Tardigrade Home Config
- Tencent Cloud Object Storage (COS) Home Config
- Wasabi Home Config
- WebDAV Home Config
- Yandex Disk Home Config
- The local filesystem Home Config
相关链接
安装
安装
Rclone 是一个 go 程序,所以只有一个二进制可执行文件。
快速开始
- 下载 相关的二进制文件
- 从下载的压缩包提取出
rclone
或者rclone.exe
二进制文件 - 运行
rclone config
以配置。详情参照 rclone config docs 。
使用
配置
首先,你需要配置 rclone。因为对象存储系统的配置比较复杂,这些被放在了 config 文件中。(详情查看 --config
一节,以学习如何找到 config 文件并选择它的保存位置 )
最简单配置的的方法就是用 config 选项运行 rclone:
rclone config
查看下面的链接以获得详细的不同服务商的配置步骤:
- 1Fichier
- Alias
- Amazon Drive
- Amazon S3
- Backblaze B2
- Box
- Cache
- Chunker - 从其它远程云存储透明地分割大文件
- Citrix ShareFile
- Crypt - 加密其它的远程云存储
- DigitalOcean Spaces
- Dropbox
- FTP
- Google Cloud Storage
- Google Drive
- Google Photos
- HTTP
- Hubic
- Jottacloud / GetSky.no
- Koofr
- Mail.ru Cloud
- Mega
- Memory
- Microsoft Azure Blob Storage
- Microsoft OneDrive
- OpenStack Swift / Rackspace Cloudfiles / Memset Memstore
- OpenDrive
- Pcloud
- premiumize.me
- put.io
- QingStor
- Seafile
- SFTP
- SugarSync
- Tardigrade
- Union
- WebDAV
- Yandex Disk
- The local filesystem
用法
Rclone 将文件夹保持原来结构从一个存储系统系统同步到另一个系统。
它的语法类似于这样:
语法: [选项] 子命令 <参数> <参数...>
源 和 目标路径 都由你所给的【 config 文件中保存的存储系统名字加上子路径】指定,例如:“dirve:myfolder” 表示查看保存的 Google Drive 中的 myfolder 路径。
你可以在 config 文件中定义许多存储路径。
请在学习 rclone 的时候使用 -i
/ --interactive
标志以避免意外数据损失。
子命令
rclone 使用子命令系统,例如:
rclone ls remote:path ## 列出远程路径下的文件
rclone copy /local/path remote:path ## 复制 /local/path 到远程路径
rclone sync -i /local/path remote:path ## 同步 /local/path 到远程路径
主要的 rclone 命令(按最常使用的频率):
- rclone config - 进入交互式配置界面
- rclone copy - 从 source 复制到 dest ,跳过已复制的
- rclone sync - 使 source 和 dest 同步,只修改 dest
- rclone move - 将文件从 source 移动到 dest
- rclone delete - 删除一个路径下的文件
- rclone purge - 删除路径和它包含的文件
- rclone mkdir - 创建文件夹(如果它不存在)
- rclone rmdir - 删除文件夹
- rclone rmdirs - 删除目录下所有为空的路径
- rclone check -检查 source 和 dest 文件是否一致
- rclone ls - 列出所有对象(包括大小和路径)
- rclone lsd - 列出路径下的文件夹、容器
- rclone lsl - 列出所有对象(包括大小、修改时间和路径)
- rclone md5sum - 用路径下的所有物体生成一个 md5 文件
- rclone sha1sum - 用路径下的所有物体生成一个 sha1 文件
- rclone size - 返回总文件大小和文件数量
- rclone version - 显示版本号
- rclone cleanup - 清空 remote
- rclone dedupe - 交互式地找到重复文件并删除或命名它们
- rclone authorize - remote 授权
- rclone cat - 连接任意文件并发往 stout
- rclone copyto - ,跳过已复制的
- rclone genautocomplete - 输出 shell completion 脚本 for rclone.
- rclone gendocs - 输出 rclone 的 markdown docs 到支持的目录
- rclone listremotes - 列出所有 remotes
- rclone mount - 挂载 remote
- rclone moveto - 将文件从 source 移动到 dest
- rclone obscure - 将 rclone.conf 中存储的密码变为 base64 格式
- rclone cryptcheck - 验证已加密的 remote 的完整性
- rclone about - 获得 remote 的详情信息(例如使用量)
查阅 命令索引 以获得完整列表
复制单个文件
rclone 一般同步或复制文件夹,不过,如果 source 指向一个文件,rclone 会只复制这个文件。dest 必须指向一个文件夹 - 如果目标路径不是文件夹, rclone 会给出 Failed to create file system for "remote:file": is a file not a directory
的错误提示。
例如,假设你有一个远程地址 remote,其中有个文件叫 test.jpg
,然后你可以用下述命令复制:
rclone copy remote:test.jpg /tmp/download
T 文件 test.jpg
会补复制到 /tmp/download
.
这也等同于当 /tmp/files
只包含下述这一个文件时
test.jpg
指定:
rclone copy --files-from /tmp/files remote: /tmp/download
我们的推荐当复制单个文件时使用 copy
,而不是 sync
。它们作用相似,不过 copy
会使用更少的内存。
远程路径的语法
输入 rclone 的远程路径语法如下:
/path/to/dir
这指向的是本地系统的路径
在 Windows 上只有本地路径才可以用 \
代替 /
,非本地路径必须使用 /
这些路径不必要在开头加上 /
- 如果没有 /
的话表示的是当前路径的相对路径
remote:path/to/dir
这表示 config 文件中定义(使用 rclone config
定义)的 remote:
上的 path/to/dir
路径
remote:/path/to/dir
在大多数后端这等同于 remote:path/to/dir
并且这种形势更受推荐。在极少数的远程系统(ftp、sftp、dropbox 商用版)上这会指向一个不同的路径。在这些系统上,开头没有 /
的路径一指向 “home” 路径,而加上 /
则表示根目录。
:backend:path/to/dir
这是创建远程路径的一种高级形式。backend
应当是后端(config 文件中的 type
)的名称或前缀,所有的后端配置都应该被提供在命令行(或者环境变量中)中。
例如:
rclone lsd --http-url https://pub.rclone.org :http:
要列出 https://pub.rclone.org/
根目录下的所有文件夹。
rclone lsf --http-url https://example.com :http:path/to/dir
要列出 https://example.com/path/to/dir/
目录下的所有文件夹和文件。
rclone copy --http-url https://example.com :http:path/to/dir /tmp/dir
要复制 https://example.com/path/to/dir/
目录下的所有文件夹和文件到 /tmp/dir
。
rclone copy --sftp-host example.com :sftp:path/to/dir /tmp/dir
要使用 sftp 从 example.com
的相对路径 path/to/dir
下复制文件和文件夹到 /tmp/dir
。
有效的 remote 名字
- remote 名字只可以包含
0-9
、A-Z
、a-z
、_
、-
和空格 - remote 名字不能以
-
开头
引用和 shell
当你在电脑上输入命令的时候,你是在 shell 中使用命令行。这以操作系统特定的方式解释各种字符。
这里要讲一些陷阱,以帮助不熟悉 shell 规则的用户
Linux / OSX
如果你输入的名字包含空格或 shell 元字符(例如 *
, ?
, $
, '
, "
等),则必须用单引号将其引起来。默认使用单引号 '
。
rclone copy 'Important files?' remote:backup
如果要发送 '
,则需要使用 "
,例如
rclone copy "O'Reilly Reviews" remote:backup
引用元字符的规则很复杂,如果您需要完整的详细信息,则必须查阅 Shell 的手册页。
Windows
如果您的名字中有空格,则需要将其放在 "
中,例如
rclone copy "E:\folder name\folder name\folder name" remote:backup
如果单独使用根目录,则不要引用该根目录(有关原因,请参见 #464 ),例如:
rclone copy E:\ remote:backup
复制名称中带有 :
的文件或目录
rclone 使用 :
标记一个 remote 名称。但是,这是非 Windows 操作系统中的有效文件名组件之一。远程名称解析器只会搜索直到第一个 /
的 :
,因此,如果您需要对这样的文件或目录执行操作,请使用以 /
开头的完整路径,或使用 ./
作为当前目录的前缀。
因此,要将名为 sync:me
的目录同步到名为 remote:
的远程目录,请使用
rclone sync -i ./sync:me remote:path
或者
rclone sync -i /full/path/to/sync:me remote:path
服务器端复制
大多数远程服务器(但不是全部-请参阅 [概述])支持服务器端复制。
这意味着,如果您要将一个文件夹复制到另一个文件夹,rclone 不会下载所有文件再重新上传它们;rclone 将指示服务器将它们复制到位。
例如
rclone copy s3:oldbucket s3:newbucket
将 oldbucket
的内容复制到 newbucket
而无需下载并重新上传。
当服务器不支持服务器端复制时,rclone 会下载并重新上传。
服务器端复制会被 sync
和 copy
使用,并且在使用 -v
标志时将在日志中区分出来。如果服务器端不支持直接移动,move
命令也会使用服务器端复制功能,这是通过发送服务器端复制命令,然后删除原来文件来完成的,这样比下载和重新上传要快得多。
仅当 remote 名称相同时,才尝试服务器端复制。
此功能可以被用在编写脚本,进行高效地进行备份时。例如
rclone sync -i remote:current-backup remote:previous-backup
rclone sync -i /path/to/files remote:current-backup
通用选项
Rclone 有许多选项可以控制其行为。
带有参数的选项可以通过两种方式传递值: --option=value
或 --option value
,但是,布尔(true
/ false
)选项的行为与其他选项略有不同,因为 --boolean
会将选项设置为 true
,而没有该选项时,则将其设置为 false
,也可以指定 --boolean=false
或 --boolean=true
,请注意,--boolean false
无效 - 这将会被解析为 --boolean
和 false
两个额外的命令行参数。
使用 TIME 的选项,使用 go time 解析器解析。例如 300ms
、 -1.5h
、 2h45m
,有效的单位有:ns
、us
( µs
)、ms
、s
、m
、h
使用 SIZE 的选项默认用 kByte,可以用 b, k, M, G, T, P 后缀。
--backup-dir=DIR
使用 copy
、 sync
、 move
时,任何补覆盖、删除的文件会被移到这个文件夹并保持它的层级结构。
如果设了 --suffix
,那么被移动的文件会加上这个后缀。如果有相同路径的文件,那么会覆盖掉。
例如:
rclone sync /path/to/local remote:current --backup-dir remote:old
会同步 /path/to/local
到 remote:current
,但任何被更新或删除的文件会被移动到 remote:old
如果你从一个脚本运行 rclone,或许你想将今天的日期作为 --backup-dir
文件夹的名字,用于存储旧文件,或者你想将今天的日期传递到 --suffix
选项。
详见 --compare-dest
和 --copy-dest
。
--bind string
向外连接时,绑定的本地 ip 。可以是 ipv4 地址 (1.2.3.4) 、ipv6 地址 (1234::789A) 、域名地址。如果域名无法被解析,或者解析出多个 ip,那会返回错误。
--bwlimit=BANDWIDTH_SPEC
控制带宽。两种方式:一个限制、时间表。默认是 0,表示没有限制。
--bwlimit 10M
--bwlimit "08:00,512 12:00,10M 13:00,512 18:00,30M 23:00,off"
--bwlimit "Mon-00:00,512 Fri-23:59,10M Sat-10:00,1M Sun-20:00,off"
列出文件不受带宽限制选项影响。
这里的单位是 Byte/s,不是 bit/s。
--bwlimit-file=BANDWIDTH_SPEC
略
--buffer-size=SIZE
每个 --transfer 用多少内存来缓冲
--check-first
略
--checkers=N
同步运行多少个比较任务。默认是 8
-c, --checksum
只用文件大小来判断是否是同一个文件。
--compare-dest=DIR
使用 sync, copy, move 时,将 DIR 中的文件向 dest 中的文件比较每个文件,如果有的文件相同,就不复制。
用 sync 时,必须使用与 dest 相同的 remote 。比较路径不能与目标路径重叠。
--config=CONFIG_FILE
一般配置文件在 home 路径下的 .config/rclone/rclone.conf
中,当 $XDG_CONFIG_HOME
被设置时,路径变为 $XDG_CONFIG_HOME/rclone/rclone.conf
如果执行 rclone 的目录下有个 rclone.conf
文件,会优先用它。
运行 rclone config file
可以看到默认配置文件在哪里。
--contimeout=TIME
设置连接 timeout。
5s 10m 3h30m
默认是 1min 。
如果超过 timeout 还没得到服务器响应, 就会认为无法连接。
--copy-dest=DIR
使用 sync, copy, move 时,将 DIR 中的文件向 dest 中的文件比较每个文件,如果有的文件相同,就在服务端将文件从 DIR 复制到 dest。对增量备份有用。
--dedupe-mode MODE
dedupe 命令下用。可选 interactive
, skip
, first
, newest
, oldest
, rename
。默认是 interactive
。
--disable FEATURE,FEATURE,…
例如:
--disable move,copy
查询:
--disable help
debug 用的
-n, --dry-run
尝试运行一下,但不做出任何实质性修改,用来看一下,rclone 都会做哪些动作。对 sync 的检查很有用。
--expect-continue-timeout=TIME
当 request 有 “Expect: 100-continue” header 时,指定完全写 request header 后,等服务器的第一个 response header 的等待时间。
--ignore-case-sync
忽略文件名的大小写。
--ignore-checksum
忽略比较文件数量来判断是否传输出了问题。一般若出问题时,会提示: “corrupted on transfer”
--ignore-existing
跳过所有已存在的目标文件
--ignore-size
忽略比较文件大小来判断是不是不同的文件。
-I, --ignore-times
不管目标文件是什么状态,都上传所有文件。
--immutable
当 source 和 destination 文件都是不可修改的。只新建和删除。如果两个文件不匹配,会出错: Source and destination exist but do not match: immutable file modified
.
--leave-root
rmdirs 时,不删除根目录。
--log-file=FILE
将日志输出到 FILE
--log-format LIST
可配置项: date
, time
, microseconds
, longfile
, shortfile
, UTC
. 默认是 “date
,time
”.
--log-level LEVEL
DEBUG 等同于 -vv
INFO 等同于 -v
NOTICE 默认
ERROR 等同于 -q
--use-json-log
用 json 格式的 log
--low-level-retries NUMBER
--max-backlog=N
--max-delete=N
限制删除文件的最大数量
--max-depth=N
递归层级。(对 purge 无效)
例如 rclone --max-depth 1 ls remote:path
只会列出第一层级的文件。
历史遗留原因, lsd 默认用 --max-depth 1
--max-duration=TIME
超过指定时间,停止 schedule
--max-transfer=SIZE
--modify-window=TIME
当检查一个文件是否被修改过,这是允许的最大的时间差。
默认是 1ns 。对 os x 是 1s
--multi-thread-cutoff=SIZE
如果下载的文件到本地后台大于这个大小,用多线程下载。默认是 250M
只对目标是本地时有用。
--multi-thread-streams=N
多线程时,线程的最大数量。默认是 4。
--no-check-dest
不检查 destination 。会有以下效果:
- 目标文件不被列出,最少使用 api
- 文件总会被传输
- 在允许的云盘上,会产生重复文件
- 推荐使用 --retries 1 ,否则失败时,需要重新传输所有文件。
--no-gzip-encoding
--no-traverse
--no-update-modtime
--order-by string
控制文件处理顺序,类别有:
- size
- name
- modtime
可以在逗号后附加的方法有:
- ascending 或 asc
- descending 或 desc
默认方法是 ascending
例子:
- --order-by size,desc
- --order-by modtime,ascending
当然有一点点局限和例外,先不译了
--password-command SpaceSepList
-P, --progress
提供上传和下载进度。每 500ms 更新一次
-q, --quiet
尽可能不做输出
--retries int
重试次数。默认是 3。设为 1 即为禁用。
--retries-sleep=TIME
重试前的等待时间。默认是 0
--size-only
只检查大小。不检查时间。
--stats=TIME
--stats-file-name-length integer
--stats-log-level string
--stats-one-line
--stats-one-line-date
--stats-one-line-date-format
--stats-unit=bits|bytes
--suffix=SUFFIX
用 sync, copy, move 时,将任何本来要被覆盖或删除的文件添加一个后缀。
与 --backup-dir 搭配使用
--suffix-keep-extension
用 --suffix=SUFFIX 时,保持后缀名。
--syslog
--syslog-facility string
--tpslimit float
--tpslimit-burst int
--track-renames
默认使用 sync 时,如果你在本地重命名了一个文件, rclone 会先删除远程文件,再上传新文件。
用上这个,就可以追踪重命名的文件。
用 size 和 hash 来匹配。
与 --no-traverse 不兼容
与 --delete-before 不兼容
--delete-(before,during,after)
决定同步时,远程的多余文件是在上传的什么阶段被删掉的。默认是 after
--fast-list
--timeout=TIME
如果 idle 超过指定时间,认为连接中断
--transfers=N
最大同步传输的文件数量。默认是 4
-u, --update
跳过远程修改时间比本地还新的文件。
--use-mmap
--use-server-modtime
-v, -vv, --verbose
-V, --version
打印版本
SSL/TLS 选项
--ca-cert string
--client-cert string
--client-key string
--no-check-certificate=true/false
配置文件加密
你的配置文件包含了网盘的登陆信息,也就是说,需要保证 .rclone.conf 的安全。
如果你的工作环境不是安全的,你可以给你的配置文件加密
每次要用这个 config 文件时都要输入密码
执行 rclone config
>rclone config
Current remotes:
e) Edit existing remote
n) New remote
d) Delete remote
s) Set configuration password
q) Quit config
e/n/d/s/q>
跳转 s
e/n/d/s/q> s
Your configuration is not encrypted.
If you add a password, you will protect your login information to cloud services.
a) Add Password
q) Quit to main menu
选 a
a/q> a
Enter NEW configuration password:
password:
Confirm NEW password:
password:
Password set
Your configuration is encrypted.
如果丢失密码,就永远无法找回里面的数据。
使用 XSalsa20 和 Poly1305 加密和验证。
如果你的环境是安全的,你可以设置 RCLONE_CONFIG_PASS
环境变量为你的密码,就不用每次都输密码了。
你可以写这样一个脚本保存为 set-rclone-password
:
#!/bin/echo Source this file don't run it
read -s RCLONE_CONFIG_PASS
export RCLONE_CONFIG_PASS
之后只要运行 source set-rclone-password
再设置密码,就可以把密码写进环境变量。
开发者选项
--cpuprofile=FILE
--dump flag,flag,flag
--dump headers
--dump bodies
--dump requests
--dump responses
--dump auth
--dump filters
--dump goroutines
--dump openfiles
--memprofile=FILE
过滤器
可用:
--delete-excluded
--filter
--filter-from
--exclude
--exclude-from
--include
--include-from
--files-from
--min-size
--max-size
--min-age
--max-age
--dump filters
详见 过滤章节.
远程控制
如果要查看如何远程控制:
--rc
- 任何开头带
--rc-
的命令
参见 远程控制章节.
日志
退出码
退出码如下:
0
- 成功1
- 语法或语法错误2
- 无法归类的错误3
- 没找到文件夹4
- 没找到文件5
- 临时性错误 (多试几次可能会解决) (重新尝试可解决的错误)6
- 不是太严重了,错误 (例如 dropbox 的 461 错误) (重新尝试也无法解决的错误)7
- 致命错误 (多次尝试也无法解决,例如账户被停用) (致命错误)8
- 传输超限 - 由 --max-transfer 设置的限制达到了9
- 操作成功,但是没有文件被传输
环境变量
rclone 可以被环境变量控制配置。你可以用环境变量来设置一些选项的默认值。
选项
每个选项都可以由环境变量设定默认值
要找到环境变量的名字,首先,取选项的完整名字,这样开头的两个减号去掉,将 -
改为 _
,将所有小写变为大写,在开头加上 RCLONE_
例如,要设置 --stats 5s
,就设置环境变量 RCLONE_STATS=5s
又或者要设置磁盘使用回收站,就设置 RCLONE_DRIVE_USE_TRASH=true
配置文件
你可以在配置文件中的单个 remote 基础上,为其值设置默认值。
如果要使用此功能,则需要找到所需的配置项的名称。
最简单的方法是手动运行 rclone config
,然后在配置文件中查看值是什么(可以通过查看 rclone help
中的 --config
帮助来找到该配置文件)
要找到环境变量的名称,您需要进行设置,将 RCLONE_CONFIG_
+ remote 的名称 + _
+ 配置文件中的选项的名称(大写)。
例如,要在不带配置文件的情况下配置名为 mys3:
的 S3 远程服务器(使用设置环境变量的 unix 方式):
$ export RCLONE_CONFIG_MYS3_TYPE=s3
$ export RCLONE_CONFIG_MYS3_ACCESS_KEY_ID=XXX
$ export RCLONE_CONFIG_MYS3_SECRET_ACCESS_KEY=XXX
$ rclone lsd MYS3:
-1 2016-09-21 12:54:21 -1 my-bucket
$ rclone listremotes | grep mys3
mys3:
注意,如果你想通过创建变量的方式创建一个 remote ,就必须用上述方式创建 ..._TYPE
变量。
优先权
后端配置的各种不同方法会以下述顺序读取,并且第一人有效值会被最终采用:
- 命令行中提供的值,例如
--drive-use-trash
。 - 特定于 remote 的环境变量,例如
RCLONE_CONFIG_MYREMOTE_USE_TRASH
(请参见上文)。 - 特定于后端的环境变量,例如
RCLONE_DRIVE_USE_TRASH
。 - 配置文件,例如
use_trash = false
- 默认值,例如
true
- 这个值无法更改
因此,如果在配置文件中同时提供了“ --drive-use-trash”,并且设置了环境变量“ RCLONE_DRIVE_USE_TRASH”,则命令行标志将优先。
对于非后端配置,顺序如下:
- 命令行中提供的值,例如
--stats 5s
- 环境变量,例如
RCLONE_STATS=5s
- 默认值,例如
1m
- 这个值无法更改。
其他环境变量
RCLONE_CONFIG_PASS
设置你的配置文件的访问密码 (详情见配置文件加密 )HTTP_PROXY
、HTTPS_PROXY
、NO_PROXY
(或者这些项的小写).- 在 https 请求上
HTTPS_PROXY
相对于HTTP_PROXY
有更高优先权 - 环境变量值可以是一个完整的 URL 或者
host[:port]
(当使用 http 时)
- 在 https 请求上
RCLONE_CONFIG_DIR
- rclone 在子进程中设置 此变量,指向保存配置文件的目录,以便使用 config 文件。
GUI(实验性)
Rclone 可以提供基于 Web 的 GUI(图形用户界面)。目前这还处于实验阶段,因此情况可能会发生变化。
在终端中运行此命令,rclone 将下载,然后在 Web 浏览器中显示 GUI:
rclone rcd --rc-web-gui
这将产生这样的日志,并且为了服务 GUI,rclone 需要继续运行:
2019/08/25 11:40:14 NOTICE: A new release for gui is present at https://github.com/rclone/rclone-webui-react/releases/download/v0.0.6/currentbuild.zip
2019/08/25 11:40:14 NOTICE: Downloading webgui binary. Please wait. [Size: 3813937, Path : /home/USER/.cache/rclone/webgui/v0.0.6.zip]
2019/08/25 11:40:16 NOTICE: Unzipping
2019/08/25 11:40:16 NOTICE: Serving remote control on http://127.0.0.1:5572/
假设您正在计算机上本地运行 rclone,你可以将 rclone 和 GUI 分开运行 - 有关详细信息,请参见下文。
如果您希望检查更新,则可以在命令行中添加 --rc-web-gui-update
如果发现 GUI 损坏,则可以通过添加 --rc-web-gui-force-update
来强制更新。
默认情况下,rclone 将打开您的浏览器。添加 --rc-web-gui-no-open-browser
以禁用此功能。
使用 GUI
GUI 打开后,您将看到具有总体概述的仪表板。
在左侧,您将看到一系列查看按钮,您可以单击以下按钮:
- Dashboard - 主要概述
- Configs - 检查和创建新配置
- Explorer - 查看、下载文件,和上传文件到云存储系统
- Backend - 查看或更改后端配置
- Log out
(更多文档和入门视频即将发布!)
它是怎么工作的?
当你运行 rclone rcd --rc-web-gui
之后会发生这些事:
- rclone 开始运行,但只运行远程控制 API ("rc")
- API 绑定到了本地地址,并有一个自动生成的用户名和密码。
- 如果 api 包缺失,那么 rclone 就会下载它
- rclone 会从 api 包通过 api 的相同端口开始服务文件
- rclone 会打开浏览器并使用
login_token
所以它会直接登陆进去
高级用法
rclone rcd
可以使用任何 rc page 中记录的选项
选项 --rc-web-gui
是下述的简写:
- 如果需要的话就下载 web GUI
- 检查验证
--rc-user gui
--rc-pass <random password>
--rc-serve
这些选项可以被强制覆盖
另外请参考 rclone rcd documentation.
例子: 运行一个公共 GUI
例如使用以下选项, GUI 可以通过 ssl 使用 htpasswd 文件在一个公共端口上服务:
--rc-web-gui
--rc-addr :443
--rc-htpasswd /path/to/htpasswd
--rc-cert /path/to/ssl.crt
--rc-key /path/to/ssl.key
例子: 在代理之后运行一个公共 GUI
如果你想在一个位于 /rclone
的代理之后运行 GUI ,你可以设置以下选项:
--rc-web-gui
--rc-baseurl rclone
--rc-htpasswd /path/to/htpasswd
或者不是用 htpasswd,你只是想单个用户和密码地使用:
--rc-user me
--rc-pass mypassword
项目
开发地址: rclone/rclone-webui-react repository.
欢迎反馈和贡献 :-)
如果有任何问题可以到这里提问: rclone forum.
笔记
我在使用 rclone rcd --rc-web-gui
时会遇到无法读取和添加 config 的问题,所以手动运行 GUI。
首先,到 rclone/rclone-webui-react 下载最新的 release,解压,得到网站文件夹。
然后运行如下命令:
rclone rcd "D:\Users\Haujet\Desktop\build" --rc-user gui --rc-pass pass
这表示:运行远程控制,对 D:\Users\Haujet\Desktop\build
下的 web-gui 提供服务,登陆用户名 gui
,登陆密码 pass
Rclone 命令
总览
这是 rclone 中所有命令的索引。运行 rclone --help
可以查看该命令的帮助:
命令 | 描述 |
---|---|
rclone | 显示 rclone 的命令、选项、后端 |
rclone about | 获得 remote 的详情信息(例如使用量) |
rclone authorize | remote 授权 |
rclone backend | 运行特定于后端的命令 |
rclone cat | 连接任意文件,并送到标准输出 |
rclone check | 检查 source 和 remote 文件是否相同 |
rclone cleanup | 如果可以,清空 remote |
rclone config | 进入交互式配置程序 |
rclone config create | 用名字、类型、选项,创建一个新的 remote |
rclone config delete | 删除一个已存在的 remote name . |
rclone config disconnect | 从 remote 断开用户连接 |
rclone config dump | 将配置文件以 JSON 输出 |
rclone config edit | 进入交互式配置页面 |
rclone config file | 显示配置文件地址 |
rclone config password | 更新已存在的 remote 的密码 |
rclone config providers | 以 json 形式列出所有的服务商和选项 |
rclone config reconnect | 重新对 remote 授权 |
rclone config show | 打印配置文件或配置文件中的一个 remote |
rclone config update | 更新一个已存在的 remote 的选项 |
rclone config userinfo | 打印 remote 的已登录的用户信息 |
rclone copy | 将文件从 source 复制到 dest,跳过已复制的文件 |
rclone copyto | 将文件从 source 复制到 dest,跳过已复制的文件 |
rclone copyurl | 将 url 文件复制到 dest |
rclone cryptcheck | 检查已加密 remote 的完整性 |
rclone cryptdecode | 返回未加密的文件名 |
rclone dedupe | 交互性的找到重复的文件名,然后删除或重命名他们 |
rclone delete | 删除一个目录下的内容 |
rclone deletefile | 删除 remote 的单个文件 |
rclone genautocomplete | 为一个给定的 shell 输出完成脚本 |
rclone genautocomplete bash | 输出 rclone 的 bash 完成脚本 |
rclone genautocomplete fish | 输出 rclone 的 fish 完成脚本 |
rclone genautocomplete zsh | 输出 rclone 的 zsh 完成脚本 |
rclone gendocs | 为 rclone 输出 markdown 形式的文档到指定目录 |
rclone hashsum | 为指定目录的所有对象生成一个 hashsum 文件 |
rclone link | 生成指向文件或文件夹的公共链接 |
rclone listremotes | 列出配置文件中所有的 remote |
rclone ls | 列出指定目录中所有的对象以及其目录、大小 |
rclone lsd | 列出目录中所有的文件夹、容器、桶 |
rclone lsf | 以 remote:path 的格式列出文件夹内所有的对象 |
rclone lsjson | 以 json 的格式列出文件夹内所有的对象 |
rclone lsl | 将指定文件夹内的所有对象的修改时间、大小、路径一并列出 |
rclone md5sum | 为指定目录的所有对象生成一个 md5sum 文件 |
rclone mkdir | 如果路径不存在,则创建这个路径 |
rclone mount | 在一个挂载点,将远程路径挂载为文件系统 |
rclone move | 将文件从 source 移动到 dest |
rclone moveto | 将文件或文件夹从 source 移动到 dest |
rclone ncdu | 用一个基于文本的交互界面浏览 remote |
rclone obscure | 将 rclone.conf 中存储的密码变为 base64 格式 |
rclone purge | 删除路径和它包含的文件 |
rclone rc | 对正在运行的 rclone 运行一个命令 |
rclone rcat | 复制标准输出到 remote 的一个文件 |
rclone rcd | 运行 rclone,但只接收远程控制命令 |
rclone rmdir | 如果目录为空则移除 |
rclone rmdirs | 移除该目录下的所有空文件夹 |
rclone serve | 用指定的协议搭建一个 remote 服务器 |
rclone serve dlna | 通过 DLNA 协议搭建一个可访问的服务器指向 remote:path |
rclone serve ftp | 通过 ftp 协议搭建一个可访问的服务器指向 remote:path |
rclone serve http | 通过 http 协议搭建一个可访问的服务器指向 remote:path |
rclone serve restic | 为了 restic's REST API 搭建一个可访问的服务器指向 remote |
rclone serve sftp | 通过 sftp 协议搭建一个可访问的服务器指向 remote |
rclone serve webdav | 通过 webdav 协议搭建一个可访问的服务器指向 remote |
rclone settier | 改变 remote 的对象的存储类 |
rclone sha1sum | 为指定目录的所有对象生成一个 sha1sum 文件 |
rclone size | 打印目标路径的所有对象的总数量和总大小 |
rclone sync | 将 source 同步到 dest,只改动 dest 的文件 |
rclone touch | 创建一个新文件或改变文件的修改时间 |
rclone tree | 用文件数的形式列出远程路径所有文件 |
rclone version | 显示版本号 |
rclone mount
这里说下,在 windows 上挂载需要安装 winfsp
https://github.com/billziss-gh/winfsp/releases/download/v1.7B1/winfsp-1.7.20038.msi
rclone mount OneDrive:/ H: –cache-dir E:\OneDrive –vfs-cache-mode writes
在一个挂载点,将远程路径挂载为文件系统
概要
rclone mount 允许 Linux、FreeBSD、macOS 和 Windows 使用 FUSE 将任何 Rclone 的云存储系统挂载为文件系统。
首先使用 rclone config
设置你的 remote。使用 rclone ls
等命令检查是否配置正确。
你可以用前台模式或后台(守护进程)模式运行挂载。挂载默认以前台模式运行,使用 --daemon 选项以指定它用后台模式运行。后台模式只支持 Linux 和 OSX,在 Windows 上只能运行前台模式。
在 Linux/macOS/FreeBSD 上,要确保 /path/to/local/mount
是一个已存在的空文件夹:
rclone mount remote:path/to/files /path/to/local/mount
或者在 Windows 上,要确保 X:
是一个未使用的盘符或者一个不存在的路径:
rclone mount remote:path/to/files X:
rclone mount remote:path/to/files C:\path\to\nonexistent\directory
当运行在后台模式时,用户需要手动停止挂载(见下文)
当程序在前台模式被结束,挂载会自动停止
挂载操作有可能失败,例如挂载点正忙。当这个发生时,用户就有责任手动停止挂载。
手动停止挂载:
## Linux
fusermount -u /path/to/local/mount
## OS X
umount /path/to/local/mount
注意:从 rclone 1.52.2 开始,rclone mount 现在在某些平台上需要 Go 1.13 以上的版本,取决于所需的 FUSE 库。
在 Windwos 上安装
要在 Windows 上运行 rclone mount,你需要下载和安装 WinFsp
WinFsp 是一个开源的 Windows 文件系统代理,可以让 Windows 轻松地写用户层文件系统。它提供 FUSE 模拟层,rclone 同时使用后者与 cgofuse。两个包由 Bill Zissimopoulos 所写,他也给 rclone 在 Windows 上的 mount 的实现提供了莫大的帮助。
Windows 警告
注意,Administrator 创建的新盘对其它用户是不可见的(包括被提升为管理员权限的用户)。所以如果你以管理员命令行启动了一个 Windows Drive,然后从 Explorer 访问,是看不见这个磁盘的。
最简单的方法是以普通用户的 cmd 窗口运行启动这块盘。或者从 SYSTEM 用户启动(使用 the WinFsp.Launcher infrastructure ),这会创建每个人都有访问权的 Drive,或者你也可以使用 the nssm service manager
挂载为网络磁盘
默认,rclone 会将 remote 挂载为普通磁盘。不过,你也可以将它挂载为网络磁盘。
不像其它系统,Windows 为网络磁盘提供一种不同的文件系统类型,Windows 和其它程序对待网络磁盘普通磁盘时会有所不同:在网络磁盘中,许多 I/O 操作会被优化,因为考虑到了网络所带来的高延迟和低稳定性。
虽然许多人更偏好让网络硬盘以普通硬盘的形式挂载,但这可能引起问题。例如:程序在 Explorer 中对挂载的 remote 执行操作时无法正常运行、卡住、发生错误。如果你经历过这些,那么请考虑将 rclone remotes 挂载为网络磁盘,因为 Windows 认为普通磁盘应当速度快并且稳定,而网络磁盘就远远不行。详情查看 限制 一节。
在 mount
后添加 --fuse-flag --VolumePrefix=\server\share
选项,如果你挂载了多个 remote 的话,将 share
替换为其它的名字,否则挂载点会发生冲突,你的挂载文件系统会重叠。
限制
如果没有使用 --vfs-cache-mode
,那么就只能顺序写入,只能在读取的时候查找。这就意味当文件在 rclone mount 上,又没有 --vfs-cache-mode writes
或 --vfs-cache-mode full
着许多应用无法工作,详见 文件缓存
基于 bucket 的 remote (例如 swift、 S3、 google 计算存储、 B2、 Hubic)不支持空文件夹的概念,所以如果空文件夹在缓存中被清除,那么就会清空。
目前只支持 Linux, FreeBSD, OS X and Windows
rclone mount 相较于 rclone sync/copy
文件系统期待百分百稳定,但是云存储远没有这样稳定。rclone sync/copy 执行时会多次尝试。但是 rclone mount 在进行本地复制和上传时无法以相同的方式重试。查阅 文件缓存 以获得更多。
属性缓存
你可以使用 --attr-timeout
属性设置内核缓存文件夹属性(大小、修改时间)的时间。
默认是 1s,可以避免内核给 rclone 太多的 callback。
理论上,对于文件系统,0s 是可以在内核的控制外修改的最正确的数值。不过这会引起不少问题,如 rclone 占用太多内存, rclone not serving files to samba 和 列出文件夹占用太多时间 。
内核可以缓存文件信息持续 --attr-timeout
指定的时间。在这个窗口,如果远程文件改变长度,你可能会见到崩溃。它会最终以截断文件或者垃圾文件显示。使用 --attr-timeout 1s
不太可能会发生(也不一定就不发生)。你设置的 --attr-timeout
越高,就越有可能发生。所以 1s 是最佳的数值了。
如果你设置比较高(10s 或者 1m),那么内核会更少地给 rclone callback,会更高效,但也更有可能崩溃。
If files don't change on the remote outside of the control of rclone then there is no chance of corruption.
This is the same as setting the attr_timeout option in mount.fuse.
过滤器
提醒下,rclone 过滤器也可以用在挂载点可见文件的子集上。
systemd
当让 rclone 作为 systemd service 运行时,可以使用 Type=notify。这时,在挂载点被成功配置之后 service 会进行启动状态。在这个模式下,拥有 rclone mount service 的 units 会立即看见所有文件和文件夹。
分块读取
--vfs-read-chunk-size
会启用从 source 分块读取文件,对于某些 remote,通过递增的次序的请求,对于某些 remote,可以减少使用的下载配额。
当 --vfs-read-chunk-size-limit
被指定,并且比 --vfs-read-chunk-size
大,那么每个打开的文件的 chunk size 会增倍,直到达到指定的数值。 -1 会禁用这个限制,chunk size 会无限增长。
如果设置了 --vfs-read-chunk-size
和 --vfs-read-chunk-size-limit 0
,接下来的部分就会被下载:0-100M, 100M-200M, 200M-300M, 300M-400M and so on。当指定了 --vfs-read-chunk-size-limit 500M
,那么结果 就是:0-100M, 100M-300M, 300M-700M, 700M-1200M, 1200M-1700M and so on
只有在 --vfs-cache-mode < full
时才会开始,因为如果设置了 --vfs-cache-mode full
,那么文件就总是会在打开之间被复制到 vfs 缓存。
VFS - 虚拟文件系统(Virtual File System)
这个命令使用了 VFS 层,这将 rclone 使用的云存储系统对象转换为像是磁盘文件系统的系统。
云存储对象有许多与磁盘文件不一样的属性 - 你无法扩展它们,也无法在中间增添内容,所以要用 VFS 层来处理它。因为至今没有一个所谓正确的方法,所以有了许多选项(如下所述)
VFS 层也使用了文件夹缓存 - 缓存文件和文件夹信息(不包含数据)在内存中。
VFS 文件夹缓存
使用 --dir-cache-time
选项,你可以控制后台文件夹应该多长时间刷新和不要刷新,通过挂载做的更改会立刻出现或者使缓存无效
--dir-cache-time duration 缓存文件夹目录的时间 (默认是 5m0s)
--poll-interval duration 拉取变化之间等待的时间
不过,在云端存储、网页交互界面、另外一个 rclone 上发生的更改,只有在文件夹缓存被清空后才会更新,如果后端支持拉取,在拉取时间段之内会完成变动的更新。
你可以发送一个 SIGHUP
信号给 rclone,让他清空文件夹缓存,不管已等了多长时间。假设只有一个 rclone 正在运行,你可以这样重置缓存:
kill -SIGHUP $(pidof rclone)
如果你设置了 rclone 的 远程控制 ,那么你可以使用 rclone rc 更新整个文件夹缓存:
rclone rc vfs/forget
或者单个文件、文件夹:
rclone rc vfs/forget file=path/to/file dir=path/to/dir
VFS 文件缓冲
--buffer-size
决定了用多少内存提前缓冲数据。
每个打开的文件总会尽量保存一定量的数据在内存中,这部分缓存的数据会与打开的文件绑定,并且不会被分享。
这个选项是每个打开的文件可占用内存的上限,这个缓冲只会将内存用于下载完成但是还没有被读取的数据,如果缓冲为空,那么只会用一点点内存。
rclone 用于缓冲所使用的最大的内存取决于 --buffer-size * open files
VFS 文件缓存
这些选项控制了 VFS 文件缓存。为了使 vfs 层与普通文件系统兼容,文件缓存就是必要的。以一些兼容性为代价,可以将这个选项关掉。
例如,如果你想要同时读取和写入一个文件,也就需要启用 vfs 缓存。详见下文。
注意 vfs 缓存与后端缓存是区别开的,有时候你可能发现需要一个、另一个,或者两者。
--cache-dir string 用作rclone缓存的文件夹
--vfs-cache-mode CacheMode 缓存模式 off|minimal|writes|full (默认是 off)
--vfs-cache-max-age duration 文件在缓存中的最长时间. (默认是 1h0m0s)
--vfs-cache-max-size SizeSuffix 缓存文件夹的最大总大小. (默认是 off)
--vfs-cache-poll-interval duration 拉取旧对象的时间间隔. (默认是 1m0s)
--vfs-write-back duration 当使用缓存时在使用文件后回写文件的间隔. (默认是 5s)
如果运行 rclone 时带上 -vv
,那么就会打印出文件缓存的位置。文件被存储在用户缓存文件区域,这是由系统定义的,不过可以被 --cache-dir
控制,或者设置环境变量修改。
缓存有 4 种模式,模式越高,兼容性越强,占用空间越大
注意文件只有在被关闭后等待了 --vfs-write-back
定义的时间后没有被访问时,才会写回远程端。
如果使用了 --vfs-cache-max-size
,那么在两种情况下,缓存会超过这个大小:首先是只有每间隔 --vfs-cache-poll-interval
时间才会检查,其次是已打开的文件无法被清除。
--vfs-cache-mode off
这是默认模式,在这种模式下,软件会直接读写远程文件,这就意味着有些操作无法进行:
- 打开文件时无法同时读取和写入
- 写入模式打开的文件无法被查找
- 要以写权限打开的已存在的文件需要有 O_TRUNC
- 要以读权限打开的已存在的有 O_TRUNC 的文件只能以写权限打开
- 只有当文件支持 O_TRUNC 才能打开文件写入
- 文件打开模式 O_APPEND, O_TRUNC 不被支持,会忽略
- 如果上传失败,则无法重试
--vfs-cache-mode minimal
This is very similar to "off" except that files opened for read AND write will be buffered to disk. This means that files opened for write will be a lot more compatible, but uses the minimal disk space.
These operations are not possible
- 写入模式打开的文件无法被查找
- 要以写权限打开的已存在的文件需要有 O_TRUNC
- 文件打开模式 O_APPEND, O_TRUNC 不被支持,会忽略
- 如果上传失败,则无法重试
--vfs-cache-mode writes
这种模式下打开文件读取时,仍然是直接从远端读取,写入文件会先被缓存到磁盘。
这个模式应该支持所有正常的文件系统操作。
如果上传失败,他会在试验性的递增间隔最大达到 1 分钟进行重试。
--vfs-cache-mode full
在这个模式下,读写操作都被缓存到本地磁盘,读取远程文件也会被写入到缓存。
在这个模式下,缓存中的文件是稀散文件,rclone 会追踪每一份他下载的文件
所以如果应用只读取文件的开头,rclone 就只会缓存这个文件的开头部分。这些文件在缓存中是以他们的原始大小存在的,但是在这些文件中,只有被下载的部分才有数据(稀散文件)。
这个模式应该支持所有的正常文件系统操作,否则与--vfs-cache-mode 写入相同。
当读取文件的时候 rclone 会读取 --buffer-size 加上超前读取 --vfs-read-ahead 大小的文件。--buffer-size 被存在内存, --vfs-read-ahead 缓存在磁盘。
使用这个模式的时候,我们推荐 --buffer-size 不要太大,如果需要的话 --vfs-read-ahead 可以设置大点。
重要提醒 不是所有的文件系统都支持稀散文件,尤其是 FAT/exFAT 不支持。如果缓存文件夹是在一个不支持稀散文件的硬盘上,rclone 就会表现非常糟糕,并且当检测到的时候会在日志中记录一个错误。
VFS 性能
这些选项可以用于出于性能或其它原因启用或禁用 vfs 的一些特性。
尤其是 S3 和 Swift 可以从 --no-modtime(或者用 --use-server-modtime 使用安静的效果) 选项受益很多,因为每次读取修改时间都要进行单独的请求。
--no-checksum 转或下载时不要比较大小
--no-modtime 不要读取和写入修改时间(可以加速某些操作)
--no-seek 不允许文件中查找
--read-only 只读挂载
当 rclone 从远端读取文件,他会分块读取。rclone 不是请求整个文件,而是读取指定的块。这是有利的,因为某些云提供商将读取作为请求的所有数据,而不是所传递的所有数据。
rclone 会从 --vfs-read-chunk-size
开始持续倍增缓存大小,直到达到最大值 --vfs-read-chunk-size-limit
。除被 --vfs-read-chunk-size-limit
设置为 off,这时缓存大小将没有限制。
--vfs-read-chunk-size SizeSuffix 分块读取源文件. (默认是 128M)
--vfs-read-chunk-size-limit SizeSuffix 最大缓存大小 (默认是 "off")
有时,rclone 不会按顺序传递读写操作,相比于查找,rclone 会直接等待一小段时间,让正确顺序恢复正常。这些选项只有在不使用磁盘缓存时有用。
--vfs-read-wait duration Time to wait for in-sequence read before seeking. (default 20ms)
--vfs-write-wait duration Time to wait for in-sequence write before giving error. (default 1s)
VFS 大小写敏感性
Linux 文件系统是大小写敏感的,两个文件名可能只有大小写区别,打开文件时,大小写必须严格正确。
文件系统在现代的 Windows 是大小写不敏感但是大小写保留的:虽然不管大小写都能打开一个文件,但是文件名的大小写会被保留,且可供程序查询。在同一个文件夹内不允许两个文件名只有大小写有区别。
通常在 macOS 文件系统是大小写不敏感的,虽然可以让他大小写敏感,但是这一般不是默认。
--vfs-case-insensitive
挂载选项控制 rclone 如何处理这两种情况。如果是 false
,rclone 将原本文件名传递到挂载文件系统,如果为 true
,rclone 会使用一个 fixup 手段,解释如下:
用户可能会指定打开、删除或重命名一个文件名,现在文件名原来挂载的文件系统中存储的不一样。如果这个参数指向一个已经存在的名字完全一样的文件,那么就会使用磁盘上已经存在的文件大小写。但是如果具有完全一样文件名的文件没有被找到,而有一个文件,其文件名只有大小写不同,这时,rclone 会明显地 fixup 这个名字。只有当一个存在的文件被请求时才会发生,由 rclone 新创建的文件名大小写敏感性由底层挂载的文件系统控制。
注意,运行 rclone 的操作系统(target)的大小写敏感性可能和 rclone 挂载的文件系(source)的大小写敏感性不同。这个选项控制 fixup 是否被使用以满足 target 的需要。
如果这个选项在命令行中提供了,那么它的默认值就取决于运行 rclone 的系统:在 Windows 和 macOS 上为 true,在其他情况下为 false。如果这个选项在没有值的情况下被提供,那他的默认值就是 true
rclone mount remote:path /path/to/mountpoint [flags]
选项
global flags page 以查看没有在这里列出的全局选项。
rclone serve
用指定的协议搭建服务,以供访问 remote。
概要
rclone serve 被用于通过指定的协议搭建服务,以供访问 remote。这个命令需要使用子命令以指定协议,例如:
rclone serve http remote:
每个子命令都有他自己的选项,你可以查看他们的帮助:
rclone serve <protocol> [opts] <remote> [flags]
选项
-h, --help help for serve
查阅 global flags page 以查看没有在这里列出的全局选项。
另外参阅
- rclone - 显示命令帮助、选项和后端
- rclone serve dlna - 通过 DLNA 协议提供访问 remote:path 的服务
- rclone serve ftp - 通过 sftp 协议提供访问 remote:path 的服务
- rclone serve http - 通过 http 协议提供访问 remote:path 的服务
- rclone serve restic -为 restic's REST API 提供访问 remote 的服务
- rclone serve sftp - 通过 sftp 协议提供访问 remote 的服务
- rclone serve webdav - 通过 webdav 协议提供访问 remote 的服务
rclone serve dlna
通过 DLNA
协议提供访问 remote:path
的服务
概要
rclone serve dlna
是一个服务于 rclone remote 存储的媒体文件的 DLNA 媒体服务端,许多设备,例如 Xbox 和 PlayStation,可以在 LAN 下自动发现这个服务器,并从上播放视频、音频。VLC 也是支持的。服务发现使用 UDP 多重广播包(UDP multicast packets)(SSDP),因此只在 LAN 下工作。
Rclone 会列出 remote 中的所有文件,而不会基于媒体格式或后缀名过滤文件。另外,不提供媒体转码支持。这意味着一些播放器可能会显示他们不能正确播放的文件。
服务器选项
--addr
指定监听的地址和端口 例如:--addr 1.2.3.4:8000
或 --addr :8080
监听所有 ip。
--name
可以选择一个友好的服务器名字,默认是 rclone(hostname)
--log-trace
和 -vv
结合起来可以为所有的 UPNP 传输开启额外的 debug 记录。
rclone serve ftp
通过 FTP
协议提供访问 remote:path
的服务
概要
rclone serve ftp
实施一个基本的 ftp
服务,通过 ftp
协议提供访问 remote
的服务。他可以通过 ftp 客户端、浏览器进行浏览,你也可以先建一个 ftp
类型的 remote
去读写他。
服务器选项
--addr
指定监听的地址和端口 例如:--addr 1.2.3.4:8000
或 --addr :8080
监听所有 ip。默认只监听 localhost
。用 :0
可以让系统自动选择端口
认证
默认服务无需登陆
你可以用用 --user
和 --pass
选项设置一个用户
rclone serve http
通过 HTTP
协议提供访问 remote:path
的服务
概要
rclone serve http
实施一个基本的 http
服务,通过 http
协议提供访问 remote
的服务。他可以通过浏览器进行浏览,你也可以先建一个 http
类型的 remote
去读写他。
你可以使用 filter 选项(例如 --include
、 --exclude
)去控制服务哪些文件
这个服务会 log errors,用 -v
以查看 logs。
--bwlimit
被用于文件传输,使用 --stats
控制统计打印。
服务器选项
--addr
指定监听的地址和端口 例如:--addr 1.2.3.4:8000
或 --addr :8080
监听所有 ip。默认只监听 localhost
。用 :0
可以让系统自动选择端口
--server-read-timeout
和 --server-write-timeout
控制总传输读写时间。
--max-header-bytes
设置在 http 头接收的最大字节数
--baseurl
控制服务的 url 前缀。默认从根。如果用了 --baseurl "/rclone"
那么 rclone 会从 "/rclone/"
开始服务。对于使用代理很有用。rclone 默认会插入 /
,所以 --baseurl "rclone"
--baseurl "/rclone"
和 --baseurl "/rclone/"
效果是一样的
--template
允许用户为 http 和 webdav 服务功能指定自定义标记模板。服务器将以下要在模板中使用的标记导出到服务器页面:
参数
描述
.Name
文件或文件夹的全路径
.Title
Directory listing of .Name
.Sort
The current sort used. This is changeable via ?sort= parameter
Sort Options: namedirfist,name,size,time (default namedirfirst)
.Order
The current ordering used. This is changeable via ?order= parameter
Order Options: asc,desc (default asc)
.Query
Currently unused.
.Breadcrumb
Allows for creating a relative navigation
-- .Link
The relative to the root link of the Text.
-- .Text
The Name of the directory.
.Entries
Information about a specific file/directory.
-- .URL
The 'url' of an entry.
-- .Leaf
Currently same as 'URL' but intended to be 'just' the name.
-- .IsDir
Boolean for if an entry is a directory or not.
-- .Size
Size in Bytes of the entry.
-- .ModTime
The UTC timestamp of an entry.
认证
默认服务无需登陆
你可以用可设置多个用户的 htpasswd 文件, 或只用 --user
和 --pass
选项设置一个用户.
用 --htpasswd /path/to/htpasswd
提供 htpasswd 文件。它使用标准 apache 格式,支持 MD5, SHA1 和 Bcrypt 用于基本的验证。
创建一个 htpasswd 文件:
touch htpasswd
htpasswd -B htpasswd user
htpasswd -B htpasswd anotherUser
可以在 rclone 运行的时候更新 htpasswd 文件。
使用 --realm
设置授权 realm.
SSL/TLS
默认用 http。如果你想用 https ,需要用 --cert
和 --key
标签。如果你想做客户端的验证,还需要用 --client-ca
--cert
应当是 PEM 编码的 certificate 或连起来的一串有 CA 的 certificate
--key
应当是 PEM 编码的私钥
--client-ca
应当是 PEM 编码的用户证明
rclone serve restic
为 restic's REST API 提供访问 remote 的服务
概要
rclone serve restic
实施一个基本的 restic's REST backend API
服务,通过 http
协议提供访问 remote
的服务。这可允许 restic 使用 rclone 让 restic 不直接支持的云服务提供商作为一个数据存储器。
Restic 是一个用于做备份的命令行工具。
这个服务器会记录错误,使用 -v
查看 logs。
--bwlimit
被用于文件传输,使用 --stats
控制统计打印。
为 restic 的使用配置 rclone
在你设置好 remote 之后,检查它是否运行,例如使用 rclone lsd remote:
,可能你的 remote 不叫 remote,替换为你的那个名字就行。
然后启动 rclone restic server:
rclone serve restic -v remote:backup
这个服务会运行在 localhost:8080
,你可以使用 --addr
改变地址。
你或许希望开机就启动这个服务。
为使用 rclone 而配置 restic
现在你可以 跟随 restic 指南 设置好 restic
注意你需要 restic 版本大于 0.8.2,来与 rclone 交互
对于上述例子,你需要使用 http://localhost:8080/
作为 rest 服务器的 url
例如:
$ export RESTIC_REPOSITORY=rest:http://localhost:8080/
$ export RESTIC_PASSWORD=yourpassword
$ restic init
created restic backend 8b1a4b56ae at rest:http://localhost:8080/
Please note that knowledge of your password is required to access
the repository. Losing your password means that your data is
irrecoverably lost.
$ restic backup /path/to/files/to/backup
scan [/path/to/files/to/backup]
scanned 189 directories, 312 files in 0:00
[0:00] 100.00% 38.128 MiB / 38.128 MiB 501 / 501 items 0 errors ETA 0:00
duration: 0:00
snapshot 45c8fdd8 saved
多个仓库
提醒一下,你可以使用这个终端 host 多个仓库,通过在 url 后边添加文件夹路径,注意这些 必须 以 /
结束。例如:
$ export RESTIC_REPOSITORY=rest:http://localhost:8080/user1repo/
## backup user1 stuff
$ export RESTIC_REPOSITORY=rest:http://localhost:8080/user2repo/
## backup user2 stuff
私有仓库
--private-repos
选项可以被用于将用户限制为以 /<username>/
路径开头的存储库。
服务器选项
--addr
指定监听的地址和端口 例如:--addr 1.2.3.4:8000
或 --addr :8080
监听所有 ip。默认只监听 localhost
。用 :0
可以让系统自动选择端口
--server-read-timeout
和 --server-write-timeout
控制总传输读写时间。
--max-header-bytes
设置在 http 头接收的最大字节数
--baseurl
控制服务的 url 前缀。默认从根。如果用了 --baseurl "/rclone"
那么 rclone 会从 "/rclone/"
开始服务。对于使用代理很有用。rclone 默认会插入 /
,所以 --baseurl "rclone"
--baseurl "/rclone"
和 --baseurl "/rclone/"
效果是一样的
--template
允许用户为 http 和 webdav 服务功能指定自定义标记模板。服务器将以下要在模板中使用的标记导出到服务器页面:
参数
描述
.Name
文件或文件夹的全路径
.Title
Directory listing of .Name
.Sort
The current sort used. This is changeable via ?sort= parameter
Sort Options: namedirfist,name,size,time (default namedirfirst)
.Order
The current ordering used. This is changeable via ?order= parameter
Order Options: asc,desc (default asc)
.Query
Currently unused.
.Breadcrumb
Allows for creating a relative navigation
-- .Link
The relative to the root link of the Text.
-- .Text
The Name of the directory.
.Entries
Information about a specific file/directory.
-- .URL
The 'url' of an entry.
-- .Leaf
Currently same as 'URL' but intended to be 'just' the name.
-- .IsDir
Boolean for if an entry is a directory or not.
-- .Size
Size in Bytes of the entry.
-- .ModTime
The UTC timestamp of an entry.
认证
默认服务无需登陆
你可以用可设置多个用户的 htpasswd 文件, 或只用 --user
和 --pass
选项设置一个用户.
用 --htpasswd /path/to/htpasswd
提供 htpasswd 文件。它使用标准 apache 格式,支持 MD5, SHA1 和 Bcrypt 用于基本的验证。
创建一个 htpasswd 文件:
touch htpasswd
htpasswd -B htpasswd user
htpasswd -B htpasswd anotherUser
可以在 rclone 运行的时候更新 htpasswd 文件。
使用 --realm
设置授权 realm.
SSL/TLS
默认用 http。如果你想用 https ,需要用 --cert
和 --key
标签。如果你想做客户端的验证,还需要用 --client-ca
--cert
应当是 PEM 编码的 certificate 或连起来的一串有 CA 的 certificate
--key
应当是 PEM 编码的私钥
--client-ca
应当是 PEM 编码的用户证明
选项
--addr string IPaddress:Port or :Port to bind server to. (default "localhost:8080")
--append-only disallow deletion of repository data
--baseurl string Prefix for URLs - leave blank for root.
--cert string SSL PEM key (concatenation of certificate and CA certificate)
--client-ca string Client certificate authority to verify clients with
-h, --help help for restic
--htpasswd string htpasswd file - if not provided no authentication is done
--key string SSL PEM Private key
--max-header-bytes int Maximum size of request header (default 4096)
--pass string Password for authentication.
--private-repos users can only access their private repo
--realm string realm for authentication (default "rclone")
--server-read-timeout duration Timeout for server reading data (default 1h0m0s)
--server-write-timeout duration Timeout for server writing data (default 1h0m0s)
--stdio run an HTTP2 server on stdin/stdout
--template string User Specified Template.
--user string User name for authentication.
查阅 global flags page 以查看没有在这里列出的全局选项。
rclone serve sftp
通过 sFTP
协议提供访问 remote:path
的服务
概要
rclone serve sftp
实施一个基本的 sftp
服务,通过 sftp
协议提供访问 remote
的服务。他可以通过 sftp 客户端使用,你也可以先建一个 sftp
类型的 remote
去读写他。
你可以使用 filter 选项(例如 --include
、 --exclude
)去控制服务哪些文件
这个服务会 log errors,用 -v
以查看 logs。
--bwlimit
被用于文件传输,使用 --stats
控制统计打印。
你必须提供一些用于验证的方法,可以使用 --user/--pass
、一个公钥验证文件(使用 --authorized-keys
指派,默认与 ssh 的相同)、一个 --auth-proxy
、或者设置 --no-auth
。
提醒下这个也实施了几个 shell 命令,所以他可以为 rclone sftp 后台提供 md5sum/sha1sum/df 信息。意味着当与 rclone sftp backend 配对时,它支持 SHA1SUMs、MD5SUMs、和 about 命令。
如果你不施加 --key
那么 rclone 会自动生成一个,并且将它缓存以供之后使用。
默认这个服务器会绑定 localhost:2022
,如果你希望他可以被从外部访问,那么就使用 --addr :2022
注意默认的 --vfs-cache-mode off
对于 rclone sftp backend 是可以的,但是对于其它 SFTP 客户端可能就用不了。
rclone serve webdav
通过 webdav
协议提供访问 remote:path
的服务
概要
rclone serve webdav
实施一个基本的 webdav
服务,通过 webdav
协议在 HTTP 上提供访问 remote
的服务。他可以通过 webdav 客户端、浏览器进行浏览,你也可以先建一个 webdav
类型的 remote
去读写他。
Webdav 选项
--etag-hash
控制 ETag header。没有这个选项的话,ETag 默认基于 ModTime 和 对象大小
如果这个选项被设置为 auto
,那么 rclone 会选择后台第一个支持的 hash,或者你可以使用一个 hash 的名字例如:“MD5” 或 “SHA-1”
使用 rclone hashsum
以查看整个列表。
服务器选项
--addr
指定监听的地址和端口 例如:--addr 1.2.3.4:8000
或 --addr :8080
监听所有 ip。默认只监听 localhost
。用 :0
可以让系统自动选择端口
--server-read-timeout
和 --server-write-timeout
控制总传输读写时间。
--max-header-bytes
设置在 http 头接收的最大字节数
--baseurl
控制服务的 url 前缀。默认从根。如果用了 --baseurl "/rclone"
那么 rclone 会从 "/rclone/"
开始服务。对于使用代理很有用。rclone 默认会插入 /
,所以 --baseurl "rclone"
--baseurl "/rclone"
和 --baseurl "/rclone/"
效果是一样的
--template
允许用户为 http 和 webdav 服务功能指定自定义标记模板。服务器将以下要在模板中使用的标记导出到服务器页面:
参数
描述
.Name
文件或文件夹的全路径
.Title
Directory listing of .Name
.Sort
The current sort used. This is changeable via ?sort= parameter
Sort Options: namedirfist,name,size,time (default namedirfirst)
.Order
The current ordering used. This is changeable via ?order= parameter
Order Options: asc,desc (default asc)
.Query
Currently unused.
.Breadcrumb
Allows for creating a relative navigation
-- .Link
The relative to the root link of the Text.
-- .Text
The Name of the directory.
.Entries
Information about a specific file/directory.
-- .URL
The 'url' of an entry.
-- .Leaf
Currently same as 'URL' but intended to be 'just' the name.
-- .IsDir
Boolean for if an entry is a directory or not.
-- .Size
Size in Bytes of the entry.
-- .ModTime
The UTC timestamp of an entry.
认证
默认服务无需登陆
你可以用可设置多个用户的 htpasswd 文件, 或只用 --user
和 --pass
选项设置一个用户.
用 --htpasswd /path/to/htpasswd
提供 htpasswd 文件。它使用标准 apache 格式,支持 MD5, SHA1 和 Bcrypt 用于基本的验证。
创建一个 htpasswd 文件:
touch htpasswd
htpasswd -B htpasswd user
htpasswd -B htpasswd anotherUser
可以在 rclone 运行的时候更新 htpasswd 文件。
使用 --realm
设置授权 realm.
SSL/TLS
默认用 http。如果你想用 https ,需要用 --cert
和 --key
标签。如果你想做客户端的验证,还需要用 --client-ca
--cert
应当是 PEM 编码的 certificate 或连起来的一串有 CA 的 certificate
--key
应当是 PEM 编码的私钥
--client-ca
应当是 PEM 编码的用户证明
过滤,包含和排除
注意: purge 不适用 filter
最简单的试用方法是 ls 或者 --dry-run 与 -v 搭配
Patterns
使用 "file globs" 进行匹配
如果 pattern 以 / 开头那么只匹配目录树顶层,相对于 remote 的根目录。如果不以 / 开头,那么就匹配路径的末尾,但它会匹配整个路径元素:
file.jpg - 匹配 "file.jpg"
- 匹配 "directory/file.jpg"
- 不匹配 "afile.jpg"
- 不匹配 "directory/afile.jpg"
/file.jpg - 匹配 "file.jpg" in the root directory of the remote
- 不匹配 "afile.jpg"
- 不匹配 "directory/file.jpg"
即使在 windows 上,也不能用 \
*
匹配 \
以外的任何字符串:
*.jpg - 匹配 "file.jpg"
- 匹配 "directory/file.jpg"
- 不匹配 "file.jpg/something"
**
匹配任何字符串,包括 /
:
dir/** - 匹配 "dir/file.jpg"
- 匹配 "dir/dir1/dir2/file.jpg"
- 不匹配 "directory/file.jpg"
- 不匹配 "adir/file.jpg"
?
匹配 \
以外的任何字符:
l?ss - 匹配 "less"
- 匹配 "lass"
- doesn't match "floss"
[
和 ]
构成类匹配,如 [a-z]
[aeiou]
[[:alpha:]]
详见 go regexp docs
h[ae]llo - matches "hello"
- matches "hallo"
- doesn't match "hullo"
{
和 }
构成选择器,应包含逗号分隔的一系列 pattern 。这些 patterns 可以包含通配符:
{one,two}_potato - matches "one_potato"
- matches "two_potato"
- doesn't match "three_potato"
- doesn't match "_potato"
\
用于转义
\*.jpg - matches "*.jpg"
\\.jpg - matches "\.jpg"
\[one\].jpg - matches "[one].jpg"
patterns 都是大小写敏感的(除了 --ignore-case 使用时)
filter globs 只能用于 flags,不能用于 remotes 。例如: rclone copy "remote:dir*.jpg" /path/to/dir
不会生效,应该这样写 rclone --include "*.jpg" copy remote:dir /path/to/dir
目录
rclone 会保持 track 能匹配所有 file pattern 的文件夹
例如有这样一个 include rule
/a/*.jpg
那么会同步这个规则的文件夹:
/a/
如果在任何规则后加上一个 /
,那么就只会匹配文件夹。
目录匹配对于基于 bucket 的远程地址无效(例如 s3, google compute storage),因为它们没有文件夹的概念。
rsync 和 rclone patterns 的区别
rclone 使用 bash 风格 {a,b,c}
的 glob 来匹配,而 rsync 不是。
规则如何被应用
每个文件从上到下的一条条尝试匹配规则
如果所有规则都不匹配,那么默认就包含这个文件
例如:
- secret*.jpg
+ *.jpg
+ *.png
+ file2.avi
- *
会包含:
file1.jpg
file3.png
file2.avi
排除:
secret17.jpg
- non
*.jpg
and *.png
添加过滤规则
重复选项
你可以重复以下选项来添加多个不同的规则
--include
--include-from
--exclude
--exclude-from
--filter
--filter-from
不要同时使用 --include*
和 --exclude*
,可能有意外结果。尝试使用 --filter*
相同类型的会在一起按以上的顺序处理,无论原始参数的顺序如何。
如果要混合 include 和 exclude 的顺序,用 --filter
--exclude
添加单条的排除规则。可以重复。例如:
--exclude *.bak
--exclude-from
从文件添加排除规则。可以重复。例如:
## a sample exclude rule file
*.bak
file2.jpg
--include
添加单条的包含规则。可以重复。例如: --include *.{png,jpg}
会在 filter list 末尾添加一个隐含的 --exclude *
这意味着你可以混合 --include
和 --include-from
与其它 filters ,但你必须在 include 描述中包含所有你想包含的文件。
--include-from
## a sample include rule file
*.jpg
*.png
file2.avi
--filter
--filter "- *.bak"
--filter-from
## a sample filter rule file
- secret*.jpg
+ *.jpg
+ *.png
+ file2.avi
- /dir/Trash/**
+ /dir/**
## exclude everything else
- *
这个规则会包含所有 jpg 和 png 文件,排除所有匹配 secret*.jpg 的文件,并包含 file2.avi
,也会包含 dir
中的一切(除了 /dir/Trash
)。
--files-from
有一个 files-from.txt
文件:
## comment
file1.jpg
subdir/file2.jpg
这样运行 :
rclone copy --files-from files-from.txt /home/me/pics remote:pics
结果:
/home/me/pics/file1.jpg → remote:pics/file1.jpg
/home/me/pics/subdir/file2.jpg → remote:pics/subdir/file2.jpg
--min-size
--max-size
--max-age
--min-age
--delete-excluded
这个选项很危险。最好先用 --dry-run -v 运行一下。
这会在目标路径删除所有排除在规则外的文件。
--dump filters
--ignore-case
基于一个文件而排除
用 --exclude-if-present
举例,你有以下目录结构:
dir1/file1
dir1/dir2/file2
dir1/dir2/dir3/file3
dir1/dir2/dir3/.ignore
执行:
rclone sync --exclude-if-present .ignore dir1 remote:backup
这样 dir3 就不会被同步了
这个选项不能多重添加,只能用一个排除文件。
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于