批量导入文档到数据库 0.0.6 版全新发布

前言

这个脚本的作用就是批量导入文档或块到数据库,包括后代文档等,可以通过限定嵌套层数或通过 SQL 等对导入内容加以限制。

在之前的这个帖子中(该贴不再维护和更新),我实现了 0.0.5 版本,这个版本已经很完善了,只不过使用需通过代码配置,体验上差了些。0.0.6 在这个基础上做了功能扩展,改善了使用体验。

使用效果,先上图

r41.gif

完整代码

使用方法

基本使用

  1. 下载这个文件批量导入文档到数据库.md.zip,放到/data/templates 目录
  2. 然后在使用的文档中输入斜杠命令 / 》模板 》选择“批量导入文档到数据库”模板即可
  3. 或者复制上面的代码,然后输入/{{}},在弹出的对话框中输入上面的代码即可
  4. 事实上就是 SQL 查询脚本,可以在任何文档中使用,按照脚本提示或注释说明使用即可

这个脚本非常灵活,可以调整不同的参数满足不同的需求。

但通常有四大使用场景,这里重点介绍下。

四大使用场景

一、临时使用

需要要修改参数:

let docBlockId = '';

let dbBlockId = '';

const isShowInputBox = true;

注意,docBlockId 和 dbBlockId 至少一个内容保持为空即可

然后可以保存为模板,然后每次使用时从模板导入即可。

使用演示:

r43.gif

二、自动导入

这个功能,可以满足当打开某个文档或刷新文档时,自动导入某个文档下面的文档到数据库。

需要修改参数:

let docBlockId = 'xxxxxxxxx-xxxx';

let dbBlockId = 'xxxxxxxxx-xxxx';

const runOnLoad = true;

注意,docBlockId 和 dbBlockId 不能为空,runOnLoad 需要设置为 true

使用演示:

r44.gif

三、手动执行

这个没有特别要求,任何参数配置情况下点击右侧的刷新按钮都可以手动执行。

使用演示:

r45.gif

四,自定义导入

这个就要参考代码中的参数配置和注释并根据自身情况进行设置了,脚本的本质就是根据 SQL 查询语句的内容进行导入的,在这里你可以通过编辑 SQL 进行自定义查询,然后导入。

image.png

使用技巧

你可以根据自身的需要对参数或代码进行修改,然后修改完成后,通过到导出到模板按钮保存为不同的模板,以满足不同场景下的需求和复用。

image.png

另外,可以在导出模板时修改 shortName 参数和 memo,让不同模板显示不同的名称和备注信息,这样就能很好区分,当前使用的脚本是哪个模板了。

免责声明

文件读写有风险!导入前请做好备份!请在新空间测试无误后再使用!本脚本仅用于学习交流,造成的任何后果均与脚本及作者无关。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    22353 引用 • 89454 回帖
  • 脚本
    20 引用 • 147 回帖 • 1 关注
  • SQL
    126 引用 • 381 回帖 • 3 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    342 引用 • 708 回帖

相关帖子

优质回帖
  • 5kyfkr 1

    是漏子文档下的一个文档,父文档 A,底下有 A1 A2 A3,然后会漏一个 A3,并且添加的时候预览里面会多个“未命名”文档,实际点确认后不会被添加到数据库

  • wilsons 1

    我就是把这个注释去了然后出现上面的问题 ,问了 AI 感觉需要改的挺多,怕改坏了

    @5kyfkr

    已修复,那个未命名文件是 bug 多出的,这个是因为 SQL 排除了父文档后,在排序的过程中没有排除父文档导致父文档重新出现,现已修复,你重新复制上面的代码再试试。

    同时修复了层级限制的 bug,漏导入可能是这个 bug 引起的。

  • 5kyfkr 1

    大佬您好,我又发现个问题了,在第二层文档设置为父文档的时候检索不到第三层文档,如下图,设置父文档是 2 的时候找不到文档 3 和他自己,只有设置为父文档 1 的时候能找到文档 2 和文档 3

    image.png

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • wilsons

    你这里的数字是指修改脚本参数吗?意思是参数修改到一半的时候,不小心脚本被执行了吗?

    如果是这样的话,可能是由于参数问题导致了死循环。这种问题,可参考 批量导入文档到数据库 0.0.6 版全新发布 - wilsons 的回帖 这个回帖临时解决,后续会加入防死循环机制。

    1 回复
  • 其他回帖
  • wilsons

    导入时,导入的是 A 目录此刻的文档状态,如果已存在则忽略,不存在则导入,并不会删除数据库原有数据。

    且,思源并不会记录一个文档的历史所在文件夹,因此无法判断数据库中的某个文档,上一次导入时的文件夹是什么。所以,除非你这个数据库是和 A 文件夹一一对应的,且不包含 A 文件夹以外的任何文档,这种情况下,可以在导入时判断已存在的文档是否在 A 目录中,如果不存在则删除。

    另外,如果确实需要包含 A 目录以外的文件夹的文档,需要你自己记录上一次导入时的文档所在文件夹状态,然后再次导入时,根据这个记录去判断已存在文档的目录是否被改变。

    所以,有没有办法解决,怎样解决,看你的需求。但目前的脚本无法实现,需要改造,目前暂不考虑这种需求,如果你有这方面的需求可自行研究改进或请大佬帮忙解决。

  • White-Night-Dream 1 评论

    感谢大佬 脚本很有用 我这里还有个需求不知道能不能实现 我用
    select * from blocks
    where path like '%${docBlockId}%' and markdown like '%✨%' and (type ='p' or type='h' or type='d' or type='t') order by created asc,sort asc ;来整理一个文档的所有标记好的知识点用于复习 同时 我希望他们添加到数据库时能够读取他们的面包屑该如何实现 (面包屑不行,母一级标题也行 )我想到的可以用脚本先写入面包屑到属性里

    1 回复
    主要就是面包屑方便排序
    White-Night-Dream
  • wilsons

    有没有可能是因为你的层级 2 选的不对?可参考下图来看看是否选的正确,红色数字代表层级,比如你选 2,则代表只能导入 daliy note 根目录的文档和 2024 根目录的文档,而 09 和 08 下的文档不会导入。

    通常情况下,层级不用选的,比如你设置一个非常大的数字,通常意味这这个文档下的所有后代文档都会导入,这个层级限制主要用来,你只想导入某个层级及之前的文档,而不是从这个层级开始往后。

    image.png

    如果还有问题,不妨说下你的导入需求,并把你的层级截图看看。

    1 回复
  • 查看全部回帖