Skip to content

开源数据同步 WebDAV 实现 #6513

Closed
@88250

Description

@88250
Member

手动配置 工作空间/conf/conf.json 中的 sync.provider 为 3 以及 webdav,参考如下:

    "webdav": {
      "endpoint": "https://your-webdav-domain.com/",
      "username": "你的用户名",
      "password": "你的密码"
    }

目前该特性处于内测阶段,所以暂时只提供手动修改配置文件的配置方式,等内测稳定以后会在 #6446 中提供界面配置给普通用户使用。

Activity

added this to the 2.4.11 milestone on Nov 7, 2022
self-assigned this
on Nov 7, 2022
Zuoqiu-Yingyi

Zuoqiu-Yingyi commented on Nov 8, 2022

@Zuoqiu-Yingyi
Contributor

测试了一下, 同步时提示: 同步失败:MkdirAll /siyuan/: 409 v2.4.11
日志:

W 2022/11/08 21:31:28 repository.go:790: index data repo before cloud sync elapsed [22977ms]
E 2022/11/08 21:31:34 sync.go:187: upload chunks failed: MkdirAll /siyuan/: 409
E 2022/11/08 21:31:34 repository.go:596: sync data repo failed: MkdirAll /siyuan/: 409
AdachiQ

AdachiQ commented on Nov 8, 2022

@AdachiQ

坚果云,获取云端信息失败 PROPFIND /siyuan/0/repo/: 409
teracloud,获取云端信息失败 cloud object not found

88250

88250 commented on Nov 8, 2022

@88250
MemberAuthor

@AdachiQ 坚果云可能需要手动建立一个根目录 siyuan

AdachiQ

AdachiQ commented on Nov 8, 2022

@AdachiQ

@AdachiQ 坚果云可能需要手动建立一个根目录 siyuan

错误信息变成 获取云端信息失败 cloud object not found

AdachiQ

AdachiQ commented on Nov 8, 2022

@AdachiQ

@AdachiQ 坚果云可能需要手动建立一个根目录 siyuan

搞定了,忘记生成密钥了

jl0476

jl0476 commented on Nov 8, 2022

@jl0476

https 可否跳过证书校验?

88250

88250 commented on Nov 8, 2022

@88250
MemberAuthor

@jl0476 目前不行,后续看是否有更多需求。

jl0476

jl0476 commented on Nov 8, 2022

@jl0476

同步失败:MkdirAll /siyuan/0/repo/main/: 403 v2.4.11

群晖nas,我看自动创建了一些目录,不清楚是什么原因不允许创建了

88250

88250 commented on Nov 8, 2022

@88250
MemberAuthor

@jl0476 服务端需要有创建文件夹的权限

jl0476

jl0476 commented on Nov 8, 2022

@jl0476

image

@jl0476 服务端需要有创建文件夹的权限

@88250 有权限,是不是层级太多?

88250

88250 commented on Nov 8, 2022

@88250
MemberAuthor

@jl0476 那可能是服务端其他原因引起的,我不是太确定。

31 remaining items

jl0476

jl0476 commented on Nov 9, 2022

@jl0476

@@88250
image
还是有

caogle

caogle commented on Nov 9, 2022

@caogle

image 抓包未见403异常
顶层目录写权限不够,改一下就好了

jl0476

jl0476 commented on Nov 9, 2022

@jl0476

@jl0476 Docker 版目前还是 v2.4.11 正式版,估计和昨天使用桌面端测试一样的问题,等会麻烦用 https://github.com/siyuan-note/siyuan/releases/tag/v2.4.12-dev1 这个桌面端测试看看。

@88250 稍晚点哈,事情有点多。

@88250 全量同步测试了,没有403报错了。不过现在第一次的同步速度下降了。315M的数据仓库,内网大概需要15分钟左右。

405异常还是有,见之前回复。

88250

88250 commented on Nov 9, 2022

@88250
MemberAuthor

@jl0476 405 的问题稍后修复,感谢反馈。WebDAV 的上传性能估计就只能是这样了,由于无法确定服务端是否支持并发操作,所以只能使用单线程上传。

jl0476

jl0476 commented on Nov 9, 2022

@jl0476

@jl0476 405 的问题稍后修复,感谢反馈。WebDAV 的上传性能估计就只能是这样了,由于无法确定服务端是否支持并发操作,所以只能使用单线程上传。

可以考虑分文件夹进行并发,不过逻辑比较复杂。

88250

88250 commented on Nov 9, 2022

@88250
MemberAuthor

@jl0476 先记录 #6535 估计可以通过缓存解决一部分问题

JCJC01

JCJC01 commented on Nov 9, 2022

@JCJC01

原来昨天忘了把provide改了3
现在同步成功了
但是https地址不成名,http地址成功
请问,如果是s3,provide也是3吗?

88250

88250 commented on Nov 9, 2022

@88250
MemberAuthor

@JCJC01 S3 请等下个版本发布以后再测试。

JCJC01

JCJC01 commented on Nov 10, 2022

@JCJC01

@jl0476 405 的问题稍后修复,感谢反馈。WebDAV 的上传性能估计就只能是这样了,由于无法确定服务端是否支持并发操作,所以只能使用单线程上传。

可以考虑分文件夹进行并发,不过逻辑比较复杂。

我这边内网测试速度还好,1G的内容10分钟不到就同步完了。

JCJC01

JCJC01 commented on Nov 11, 2022

@JCJC01

@88250 请问D大,我想用pc的思源的同步到nas的floder a,然后nas docker个思源,data路径也是设置floder a,
有个问题,好像他们的floder的样式是否不一样?
这样是否不能pc和 docker的数据保持一致?

JCJC01

JCJC01 commented on Nov 11, 2022

@JCJC01

@88250 请问D大,我想用pc的思源的同步到nas的floder a,然后nas docker个思源,data路径也是设置floder a,
有个问题,好像他们的floder的样式是否不一样?
这样是否不能pc和 docker的数据保持一致?

88250

88250 commented on Nov 11, 2022

@88250
MemberAuthor

@JCJC01 你试下看看,我不太清楚。

JCJC01

JCJC01 commented on Nov 11, 2022

@JCJC01

pc webdav同步过来都是很散的文件夹,00,0a,0b,之类的200多个。
到正常的是data conf temp等常规文件夹

88250

88250 commented on Nov 11, 2022

@88250
MemberAuthor

数据仓库是 repo 文件夹

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Type

No type

Projects

No projects

Relationships

None yet

    Development

    No branches or pull requests

      Participants

      @88250@jl0476@caogle@AdachiQ@Zuoqiu-Yingyi

      Issue actions

        开源数据同步 WebDAV 实现 · Issue #6513 · siyuan-note/siyuan