登录 注册

关于思源笔记使用第三方同步盘可能造成数据损坏的问题

本贴最后更新于 1171 天前，其中的信息可能已经时移世改

第三方同步盘可能造成数据损坏

先说结论：目前因为使用同步盘带来的数据损坏问题是无法彻底解决的。

原因：同步盘在同步时会锁定文件，此时思源就无法写入文件。加上一些不确定的原因（比如同步盘自身卡顿、网络质量不好等）会导致锁定文件时长不确定，思源只能在很短的时间内（300-400 毫秒）尝试重新写入（如果重试时间过长，还会带来其他问题），这时如果文件还是被同步盘锁定，则只能在旁边生成临时文件以备手动恢复。

这个问题要彻底解决只能由思源来锁定文件，但这样的结果就是同步盘无法同步文件，失去了使用第三方同步盘的意义。

一个折中方案

我们目前采取了一个折中的方案：有数据写入后思源锁定一段时间，如果没有继续数据变更则自动解锁。解锁以后同步盘就可以同步了，但是这个期间内如果发生数据变更，就依然还是会面临上面提到的问题。所以这个方案只是降低了问题发生的概率，并不能彻底解决问题。

使用建议

  • 请勿使用第三方同步盘进行实时同步。思源内核启动之前同步好数据，暂停同步以后再启动思源，使用结束后关闭思源内核，最后再打开同步盘同步数据。虽然麻烦，但是可靠……
  • 请勿同时使用第三方同步盘和思源官方同步，鱼肉和熊掌只能二选一……
  • 定期备份数据，安全第一

大家如果有更好的思路欢迎随时讨论。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    22341 引用 • 89393 回帖 • 1 关注
22 引用
【思源新人指南】莫名其妙遇到锁定空间，提示「避免潜在的数据损坏」该怎么办 • Frostime
【思源新人指南】莫名其妙遇到锁定空间，提示「避免潜在的数据损坏」该怎么办 • Frostime
支持自定义数据仓库位置以提高安全性 • fwzuw
只要思源笔记在运行着，被打开的工作目录下的.lock 文件就会一直存在吗 请问思源同步能否支持中国移动云盘的同步盘同步？ 无法存取数据 v2.5.1 手机伺服使用指南（新手向）以及一些个人经验分享 [已解决][BUG] 在 WIN10 系统上安装思源笔记后无法启动 使用坚果云等第三方同步盘仅同步 assets 文件夹，其他的文件及文件夹一律使用官方的云同步，这样的同步方式会发生冲突，出现数据损坏问题吗？ 【反馈】1.9.6 开始，win11 的思源卡顿的历害 丢数据 1.6.3 依然存在丢图片的问题 思源笔记升级 1.5.4 后，同步出现问题 思源笔记 iOS 公测版在哪下载？ 【反馈问题】写入笔记后，再次打开软件无法看到笔记 思源 window 版本 pdf 问题 数据文件已被其他程序锁定（如果使用第三方同步盘，请检查同步情况） 思源笔记同步失败，显示文件被占用 求助：只同步工作空间 /data 会不会出现什么问题 同步失败问题 内核中断 仍是同步疑问
1 操作
88250 在 2021-09-07 23:31:49 更新了该帖
昆明 位置
1 关注
7 收藏
2 赞同
22 引用
1 操作
23 回帖
2
10.0k 2.1k 530 691 216 53 2 5 6.4k

相关帖子

23 回帖
关于思源笔记使用第三方同步盘可能造成数据损坏的问题

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • a1993613 •
    订阅者 支持者 勇士

    那如果用 ashampoo back up pro 这个备份软件定时把文件备份到其他盘，也会出现这种情况吗？之前第三方同步出问题主要是同步备份数据的时候容易出问题。后来把备份的数据取消同步了，就没出过问题了

    1 回复
  • 88250 •
    订阅者 作者 MOD

    在内核没有开启的情况下用其他工具备份（复制）data 文件夹的话不会有问题。

    1 回复
  • a1993613 •
    订阅者 支持者 勇士

    内核没有开启是什么意思？是指没打开思源软件的时候吗？

    1 回复
  • 88250 •
    订阅者 作者 MOD

    嗯，桌面端启动以后正常使用时内核进程（SiYuan Kernel）是开启的，如果在设置 - 外观中取消勾选这一项，那么关闭界面后内核就不会退出：

    image.png

  • dayuanlilmaster •
    订阅者 支持者 勇士

    我目前用坚果云同步笔记所在的文件夹，还没有出现过题主说得问题。不过不知道是不是因为我每一篇笔记的体积都比较小的原因。

    3 回复
  • 88250 •
    订阅者 作者 MOD

    这个问题受文件多少和大小、网络质量、设备资源使用等因素影响，应该不会经常遇到，但是一旦遇到就比较麻烦。

  • luyeok • • 1
    支持者

    分项一个我的同步思路：

    1. 使用 cryptomator 创建 sync_data 加密同步文件夹；
    2. 设置思源工作空间目录为：C:\Users\Username\Documents\SiYuan
    3. 把工作空间目录中的文档文件夹（data）移动到 Cryptomator 加密同步的 sync_data 文件夹，同时删除工作空间目录的文档文件夹（data）；
    4. 在工作空间目录中建立 sync data 的软连接
      mklink /d c:\user\username\documents\siyuan\data z:\sync_data

    注：

    1. 之前把整个工作空间目录直接放到网盘同步，经常会造成冲突，且冲突的主要是 conf 文档。
    2. 以上方法在使用中，目前尚未发现数据冲突的情况。稳定性还是不错的。
    1 回复
  • luyeok • • 1 • 1 赞同
    支持者

    我建议作者可以研究下 keepass 的同步思路，keepass 是直接把硬盘上存有密码的数据库文件解密后读入内存。本地修改后，再存入硬盘。在实际的使用中，可以直接把存有密码的数据库放到网盘上同步，基本上不会出现同步的问题。这么做好处有两点：1. 硬盘上的文件是加密的，读入内存后存放在内存安全区域，数据比较安全，甚至不怕软件扫描硬盘；2. 因为改动是直接在内存上作出的，然后手动或者定期存入硬盘，这个时候可以检测硬盘文件被网盘占用情况，改善了同步冲突的问题。

    当然，keepass 数据库非常的小，所以可以整个读入内存。不过我觉得这个思路不错，思源笔记可以将笔记分成冷数据和热数据、图像和文字，分开存储。

  • cuijianzhe •
    付费者 捐赠者

    用 git 同步，也是 conf 文件搞事

  • abai •

    楼主是否考虑以后增加 AWS S3 同步功能，比如用户在腾讯云上开个 COS，直接把数据存那上面。

    1 回复
  • 88250 •
    订阅者 作者 MOD

    有考虑过通过 Rclone 对接更多云存储，但暂时没有时间深入研究，也许同步机制后续会以回调接口的方式暴露出来，让其他开发者来扩展其实现。

  • lane •
    订阅者 支持者 恶龙

    iCloud 和 OneDriver，没有出现过问题

    1 回复
  • 88250 •
    订阅者 作者 MOD

    这是个概率问题，受文件多少和大小、网络质量、设备资源使用等因素影响。理论上是肯定会发生的，最好还是留意一下。

  • mlosun •

    坚果云，刚遇到 😂

    1 回复
  • aiwalker •

    今天晚上碰到了这个问题，文件还在，但是打开软件后加载不出来。急死了，请问这个怎么解决？

    1 回复
  • aiwalker •

    重度用了三天就碰到了。

  • 88250 •
    订阅者 作者 MOD

    你好，思源使用期间最好暂停第三方盘同步思源文件夹，退出思源（包括内核）以后再打开同步。

    另外，能否打包上传一下工作空间/conf/siyuan.log，我们看下是否有是其他问题，谢谢。

  • HaujetZhao • • 1 评论
    订阅者 支持者 勇士

    我能想到的：如果写入失败，在思源软件目录（而非笔记目录）创建临时文件，写入，做下记录，用一个单独的线程，每 1s 根据记录写入指定文件，并删除临时文件。

    如果把临时文件写到笔记文件夹，可能会导致进一步的 同步错乱。

    临时文件创建后就不会再次写入，没有同步错乱的风险。
    88250 •
  • vanlin •

    自己用 rsync 搞起来~

  • totorozz •

    遇到的具体表现形式是什么样子呢，我刚用暂时还没遇到过，不知道遇到时是什么样子

  • isyuewang •

    感觉解决方案只能是，手动点击同步按钮，然后思源内核收到信号后放开对文件的锁定，也不写入任何内容了，然后同步功能收到信号，开始同步，同步完之后思源内核才继续正常运行（或者重启）。这一整套下来，必然涉及思源笔记内核，用户，第三方同步功能的信号传递，所以感觉最好的解决方案应该还是需要官方配合，然后放弃 onedrive 这种自动的第三方同步盘，改用官方提供的同步服务端（如果可以开放给用户自己在自己的服务器上搭建的话）。或者是搞一些接口，利用 rsync 这种让用户自己搭，但是需要官方提供信号传递的接口。 考虑到移动端，前者似乎是最理想的方案。不知道大佬们有没有考虑，可以把这种权限放在付费订阅里面都没问题的。

    因为感觉思源笔记的设计思路就没考虑到实时同步功能，所以这与 onedrive 这种第三方同步盘本来就是违背的。这些同步盘的设计思路就是实时同步共享。

    1 回复
  • 88250 •
    订阅者 作者 MOD

    后续会考虑开放端到端加密同步框架，之前我们讨论过 能否支持自动化同步到非官方存储？

  • millionmile • • 2 赞同

    分享下个人使用 git 同步的 bat 脚本（win 用户使用）

    :: 跳转到思源笔记的工作空间中
D: & cd D:\workspace\siyuan_workspace

tasklist |findstr /im "SiYuan"
if %errorlevel% == 0 (goto opened) else (goto closed)

:: ------------------如果思源笔记软件已开启--------------------
:opened

:: 必须软关闭思源笔记软件，等待3秒后，才能够正常提交
taskkill /im "SiYuan.exe"
timeout /T 3

:: 提交git，只提交data目录，其他目录不提交
:: gitignore文件中已提前忽略  /data/.siyuan
git add data/.
git commit -m %date:~0,4%%date:~5,2%%date:~8,2%%time:~0,2%%time:~3,2%%time:~6,2%
git push

:: 重启思源笔记软件
start D:/soft/SiYuan/SiYuan.exe
exit

:: ------------------如果思源笔记软件没有开启------------------
:closed

:: 提交git，只提交data目录，其他目录不提交
git add data/.
git commit -m %date:~0,4%%date:~5,2%%date:~8,2%%time:~0,2%%time:~3,2%%time:~6,2%
git push
exit
请输入回帖内容 ...
88250 MOD
但行好事莫问前程 昆明
回帖
33773
 帖子
712
 积分
167971