登录 注册

批量导入文档到数据库 0.0.6 版全新发布

前言

这个脚本的作用就是批量导入文档或块到数据库，包括后代文档等，可以通过限定嵌套层数或通过 SQL 等对导入内容加以限制。

在之前的这个帖子中（该贴不再维护和更新），我实现了 0.0.5 版本，这个版本已经很完善了，只不过使用需通过代码配置，体验上差了些。0.0.6 在这个基础上做了功能扩展，改善了使用体验。

使用效果，先上图

r41.gif

完整代码

使用方法

基本使用

  1. 下载这个文件批量导入文档到数据库.md.zip，放到/data/templates 目录
  2. 然后在使用的文档中输入斜杠命令 / 》模板 》选择“批量导入文档到数据库”模板即可
  3. 或者复制上面的代码，然后输入/{{}}，在弹出的对话框中输入上面的代码即可
  4. 事实上就是 SQL 查询脚本，可以在任何文档中使用，按照脚本提示或注释说明使用即可

这个脚本非常灵活，可以调整不同的参数满足不同的需求。

但通常有四大使用场景，这里重点介绍下。

四大使用场景

一、临时使用

需要要修改参数：

let docBlockId = '';

let dbBlockId = '';

const isShowInputBox = true;

注意，docBlockId 和 dbBlockId 至少一个内容保持为空即可

然后可以保存为模板，然后每次使用时从模板导入即可。

使用演示：

r43.gif

二、自动导入

这个功能，可以满足当打开某个文档或刷新文档时，自动导入某个文档下面的文档到数据库。

需要修改参数：

let docBlockId = 'xxxxxxxxx-xxxx';

let dbBlockId = 'xxxxxxxxx-xxxx';

const runOnLoad = true;

注意，docBlockId 和 dbBlockId 不能为空，runOnLoad 需要设置为 true

使用演示：

r44.gif

三、手动执行

这个没有特别要求，任何参数配置情况下点击右侧的刷新按钮都可以手动执行。

使用演示：

r45.gif

四，自定义导入

这个就要参考代码中的参数配置和注释并根据自身情况进行设置了，脚本的本质就是根据 SQL 查询语句的内容进行导入的，在这里你可以通过编辑 SQL 进行自定义查询，然后导入。

image.png

使用技巧

你可以根据自身的需要对参数或代码进行修改，然后修改完成后，通过到导出到模板按钮保存为不同的模板，以满足不同场景下的需求和复用。

image.png

另外，可以在导出模板时修改 shortName 参数和 memo，让不同模板显示不同的名称和备注信息，这样就能很好区分，当前使用的脚本是哪个模板了。

免责声明

文件读写有风险！导入前请做好备份！请在新空间测试无误后再使用！本脚本仅用于学习交流，造成的任何后果均与脚本及作者无关。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    23022 引用 • 92614 回帖
  • 脚本
    20 引用 • 147 回帖 • 1 关注
  • SQL
    127 引用 • 386 回帖 • 3 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    343 引用 • 723 回帖
10 引用
[Quicker] 思源笔记 SuperTag • wilsons
怎么实现 A 文档下的文档自动添加到 A 文档的数据库 • wilsons
[js] 创建 dailynote 自动添加到数据库 • Achuan-2
目录树上是否可以支持展示页面是否被数据库引用？ 一图展示我的思源工作流 一图展示我的思源工作流 有没有办法把反链或者子文档自动添加到数据库 思源笔记导入 md 图片 希望能让符合条件的块自动进入指定的数据库表格 思源如何筛选出未加入数据库的文档？或者有没有办法一键将所有子文档都添加到数据库中（类似目录插件功能）
11 感谢
1 关注
16 收藏
3 赞同
10 引用
84 回帖
37
11
7
4
1.4k 646 724 3 3 28

相关帖子

优质回帖
  • 5kyfkr • • 1
    付费者 捐赠者

    是漏子文档下的一个文档，父文档 A，底下有 A1 A2 A3，然后会漏一个 A3，并且添加的时候预览里面会多个“未命名”文档，实际点确认后不会被添加到数据库

  • wilsons • • 1
    付费者 捐赠者 作者

    我就是把这个注释去了然后出现上面的问题 ，问了 AI 感觉需要改的挺多，怕改坏了

    @5kyfkr

    已修复，那个未命名文件是 bug 多出的，这个是因为 SQL 排除了父文档后，在排序的过程中没有排除父文档导致父文档重新出现，现已修复，你重新复制上面的代码再试试。

    同时修复了层级限制的 bug，漏导入可能是这个 bug 引起的。

  • 5kyfkr • • 1
    付费者 捐赠者

    大佬您好，我又发现个问题了，在第二层文档设置为父文档的时候检索不到第三层文档，如下图，设置父文档是 2 的时候找不到文档 3 和他自己，只有设置为父文档 1 的时候能找到文档 2 和文档 3

    image.png

84 回帖
批量导入文档到数据库 0.0.6 版全新发布

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • lkqfys •
    订阅者

    恩，谢谢你~我也觉得这个是个人特例，另外想问下，如果把父文档 A 下的子文档 A1 移动到了父文档 B 下，数据库自动更新后并不会删除这个子文档 A1（因为 A1 还存在），这个有解决方法吗？

    1 回复
  • 其他回帖
  • wilsons •
    付费者 捐赠者 作者

    建议在代码中增加 console.log('111111')（比如，配置区上面或主逻辑区上面），然后在 devtools 控制台观察刷新时是否一直在打印，如果一直打印就说明本脚本被某种原因死循环了。如果没有，则说明本脚本没问题，可能是别的脚本导致的。

    如果确实本脚本由于某种原因出现死循环了，可以添加以下代码临时解决（把以下代码放到配置区的上面或主逻辑区的上面均可）。

    if(window.doc2dbImporterRuning) return render(`<span>已执行完毕，不必重复执行</span>${help()}`);
window.doc2dbImporterRuning = true;
// 这里保证5秒钟内只会被执行一次，可根据您脚本具体执行时间进行调整（这种调整通常可停止某些原因导致的死循环）
setTimeout('window.doc2dbImporterRuning = false', 5000);

    如果是别的脚本的问题，那就要具体排除是哪个脚本及具体的原因了。

    1 回复
    1 引用
  • White-Night-Dream • • 1 评论
    付费者

    感谢大佬 脚本很有用 我这里还有个需求不知道能不能实现 我用
    select * from blocks
    where path like '%${docBlockId}%' and markdown like '%✨%' and (type ='p' or type='h' or type='d' or type='t') order by created asc,sort asc ;来整理一个文档的所有标记好的知识点用于复习 同时 我希望他们添加到数据库时能够读取他们的面包屑该如何实现 （面包屑不行，母一级标题也行 ）我想到的可以用脚本先写入面包屑到属性里

    1 回复
    主要就是面包屑方便排序
    White-Night-Dream •
  • wilsons •
    付费者 捐赠者 作者

    假设你的数据库块在 demo 文档中

    第一步，在 demo 文件中新建 sql 查询，复制上面的代码并粘贴到 SQL 查询对话框里，然后修改以下参数

    // 定义父文档块id，可选，根据自己的父文档块id进行修改
let docBlockId = '20240713143249-k0g5vnz';

// 定义数据库块id，必填，根据自己的数据库块id进行修改
let dbBlockId = '20240918091455-da65cmn';

// 设置最大嵌套层级，默认7级，这个是从笔记下的一级目录开始算1级
let maxLevel = 4;

//获取所有子文档的sql查询语句
const docsSql = (docBlockId, maxLevel, extendSql) => `
    select *
    from blocks
    where type = 'd'
    -- 查询所有子文档
    and path like '/${docBlockId}%'
    -- 不包含父文档自身
    and id != '${docBlockId}'
    -- 动态扩展SQL的变量
    ${extendSql}
    -- 查询文档层级限制最大多少级
    and (LENGTH(path) - LENGTH(REPLACE(path, '/', ''))) / LENGTH('/') = ${maxLevel}
    order by sort asc, created desc;
`;

// 加载时是否执行，默认false，加载时不执行，true为加载时执行
const runOnLoad = true;

// 排序方式, 默认为true，按文档树顺序排序后插入，false 按SQL搜索结果插入
const sortByTreeOrder = false;

    说明：

    1. 这里主要操作是 maxLevel 设置为 4，然后 docsSql 里修改 <=${maxLevel} 为 = ${maxLevel}，这样就仅导入第 4 级的文档
      这里的层级计算如图所示

      image.png

    2. 去掉 docsSql 里的注释 -- and id != '${docBlockId}'，以排除父文档的导入

    3. 开启 runLoad=true，让刷新时执行

    4. 关闭 sortByTreeOrder=false，排除子文档排序带来的意外影响（这个后续版本会修复，不关闭也不影响）

    第二步，然后只要每次打开 demo 这个文档的时候就会自动导入了，当然也可以通过手动点右侧刷新导入。

    总结：总之这个查询的关键还是对 SQL 查询的运用，SQL 查询的结果便能导入。

    2 回复
  • 查看全部回帖
wilsons
人生最大的敌人是自己，战胜自己，才能超越一切。
回帖
911
 帖子
28
 积分
24589