登录 注册

批量导入文档到数据库 0.0.6 版全新发布

前言

这个脚本的作用就是批量导入文档或块到数据库，包括后代文档等，可以通过限定嵌套层数或通过 SQL 等对导入内容加以限制。

在之前的这个帖子中（该贴不再维护和更新），我实现了 0.0.5 版本，这个版本已经很完善了，只不过使用需通过代码配置，体验上差了些。0.0.6 在这个基础上做了功能扩展，改善了使用体验。

使用效果，先上图

r41.gif

完整代码

使用方法

基本使用

  1. 下载这个文件批量导入文档到数据库.md.zip，放到/data/templates 目录
  2. 然后在使用的文档中输入斜杠命令 / 》模板 》选择“批量导入文档到数据库”模板即可
  3. 或者复制上面的代码，然后输入/{{}}，在弹出的对话框中输入上面的代码即可
  4. 事实上就是 SQL 查询脚本，可以在任何文档中使用，按照脚本提示或注释说明使用即可

这个脚本非常灵活，可以调整不同的参数满足不同的需求。

但通常有四大使用场景，这里重点介绍下。

四大使用场景

一、临时使用

需要要修改参数：

let docBlockId = '';

let dbBlockId = '';

const isShowInputBox = true;

注意，docBlockId 和 dbBlockId 至少一个内容保持为空即可

然后可以保存为模板，然后每次使用时从模板导入即可。

使用演示：

r43.gif

二、自动导入

这个功能，可以满足当打开某个文档或刷新文档时，自动导入某个文档下面的文档到数据库。

需要修改参数：

let docBlockId = 'xxxxxxxxx-xxxx';

let dbBlockId = 'xxxxxxxxx-xxxx';

const runOnLoad = true;

注意，docBlockId 和 dbBlockId 不能为空，runOnLoad 需要设置为 true

使用演示：

r44.gif

三、手动执行

这个没有特别要求，任何参数配置情况下点击右侧的刷新按钮都可以手动执行。

使用演示：

r45.gif

四，自定义导入

这个就要参考代码中的参数配置和注释并根据自身情况进行设置了，脚本的本质就是根据 SQL 查询语句的内容进行导入的，在这里你可以通过编辑 SQL 进行自定义查询，然后导入。

image.png

使用技巧

你可以根据自身的需要对参数或代码进行修改，然后修改完成后，通过到导出到模板按钮保存为不同的模板，以满足不同场景下的需求和复用。

image.png

另外，可以在导出模板时修改 shortName 参数和 memo，让不同模板显示不同的名称和备注信息，这样就能很好区分，当前使用的脚本是哪个模板了。

免责声明

文件读写有风险！导入前请做好备份！请在新空间测试无误后再使用！本脚本仅用于学习交流，造成的任何后果均与脚本及作者无关。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    22250 引用 • 88929 回帖
  • 脚本
    20 引用 • 147 回帖 • 1 关注
  • SQL
    126 引用 • 381 回帖 • 3 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    339 引用 • 708 回帖
9 引用
怎么实现 A 文档下的文档自动添加到 A 文档的数据库 • wilsons
[js] 创建 dailynote 自动添加到数据库 • Achuan-2
目录树上是否可以支持展示页面是否被数据库引用？ • wilsons
一图展示我的思源工作流 一图展示我的思源工作流 有没有办法把反链或者子文档自动添加到数据库 思源笔记导入 md 图片 希望能让符合条件的块自动进入指定的数据库表格 思源如何筛选出未加入数据库的文档？或者有没有办法一键将所有子文档都添加到数据库中（类似目录插件功能）
11 感谢
14 收藏
3 赞同
9 引用
84 回帖
37
11
7
4
966 555 403 3 3 2

相关帖子

优质回帖
  • 5kyfkr • • 1
    付费者 捐赠者

    是漏子文档下的一个文档，父文档 A，底下有 A1 A2 A3，然后会漏一个 A3，并且添加的时候预览里面会多个“未命名”文档，实际点确认后不会被添加到数据库

  • wilsons • • 1
    付费者 捐赠者 作者

    我就是把这个注释去了然后出现上面的问题 ，问了 AI 感觉需要改的挺多，怕改坏了

    @5kyfkr

    已修复，那个未命名文件是 bug 多出的，这个是因为 SQL 排除了父文档后，在排序的过程中没有排除父文档导致父文档重新出现，现已修复，你重新复制上面的代码再试试。

    同时修复了层级限制的 bug，漏导入可能是这个 bug 引起的。

  • 5kyfkr • • 1
    付费者 捐赠者

    大佬您好，我又发现个问题了，在第二层文档设置为父文档的时候检索不到第三层文档，如下图，设置父文档是 2 的时候找不到文档 3 和他自己，只有设置为父文档 1 的时候能找到文档 2 和文档 3

    image.png

84 回帖
批量导入文档到数据库 0.0.6 版全新发布

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • wilsons •
    付费者 捐赠者 作者

    抱歉，前几天忙，忽略了这个问题，今天才想起来。

    如果用笔记本 id 作为父文档导入需要改造，下面是我调整好的代码，如果想了解调整内容，可以用软件对比下看。

    然后，只需把下面这两个参数填入对应的 id 值即可。

    //（1） 定义数据库块id，必填，根据自己的数据库块id进行修改
let dbBlockId = '';

//（2） 笔记id
const box = '';

    代码如下：

    【警告】：这个版本是针对笔记本文档批量导入数据库的，普通的文件夹父文档不要使用这个脚本！！！

    【警告】：这个版本是针对笔记本文档批量导入数据库的，普通的文件夹父文档不要使用这个脚本！！！

    代码备份地址：https://gitee.com/wish163/mysoft/blob/master/%E6%89%B9%E9%87%8F%E5%AF%BC%E5%85%A5%E6%96%87%E6%A1%A3%E5%88%B0%E6%95%B0%E6%8D%AE%E5%BA%930.0.6-%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%89%88.js

    关于你说的 vscode 代码乱问题，可能和 IDE 环境有关，比如回车换行，tab 缩进等的不同造成的。

    可在 vscode 中使用右键选择“使用...格式化文档”，然后选择你喜欢的风格进行格式化即可。

    image.png

  • 其他回帖
  • wilsons •
    付费者 捐赠者 作者

    假设你的数据库块在 demo 文档中

    第一步，在 demo 文件中新建 sql 查询，复制上面的代码并粘贴到 SQL 查询对话框里，然后修改以下参数

    // 定义父文档块id，可选，根据自己的父文档块id进行修改
let docBlockId = '20240713143249-k0g5vnz';

// 定义数据库块id，必填，根据自己的数据库块id进行修改
let dbBlockId = '20240918091455-da65cmn';

// 设置最大嵌套层级，默认7级，这个是从笔记下的一级目录开始算1级
let maxLevel = 4;

//获取所有子文档的sql查询语句
const docsSql = (docBlockId, maxLevel, extendSql) => `
    select *
    from blocks
    where type = 'd'
    -- 查询所有子文档
    and path like '/${docBlockId}%'
    -- 不包含父文档自身
    and id != '${docBlockId}'
    -- 动态扩展SQL的变量
    ${extendSql}
    -- 查询文档层级限制最大多少级
    and (LENGTH(path) - LENGTH(REPLACE(path, '/', ''))) / LENGTH('/') = ${maxLevel}
    order by sort asc, created desc;
`;

// 加载时是否执行，默认false，加载时不执行，true为加载时执行
const runOnLoad = true;

// 排序方式, 默认为true，按文档树顺序排序后插入，false 按SQL搜索结果插入
const sortByTreeOrder = false;

    说明：

    1. 这里主要操作是 maxLevel 设置为 4，然后 docsSql 里修改 <=${maxLevel} 为 = ${maxLevel}，这样就仅导入第 4 级的文档
      这里的层级计算如图所示

      image.png

    2. 去掉 docsSql 里的注释 -- and id != '${docBlockId}'，以排除父文档的导入

    3. 开启 runLoad=true，让刷新时执行

    4. 关闭 sortByTreeOrder=false，排除子文档排序带来的意外影响（这个后续版本会修复，不关闭也不影响）

    第二步，然后只要每次打开 demo 这个文档的时候就会自动导入了，当然也可以通过手动点右侧刷新导入。

    总结：总之这个查询的关键还是对 SQL 查询的运用，SQL 查询的结果便能导入。

    2 回复
  • wilsons •
    付费者 捐赠者 作者

    有没有可能是因为你的层级 2 选的不对？可参考下图来看看是否选的正确，红色数字代表层级，比如你选 2，则代表只能导入 daliy note 根目录的文档和 2024 根目录的文档，而 09 和 08 下的文档不会导入。

    通常情况下，层级不用选的，比如你设置一个非常大的数字，通常意味这这个文档下的所有后代文档都会导入，这个层级限制主要用来，你只想导入某个层级及之前的文档，而不是从这个层级开始往后。

    image.png

    如果还有问题，不妨说下你的导入需求，并把你的层级截图看看。

    1 回复
  • wilsons •
    付费者 捐赠者 作者

    导入时，导入的是 A 目录此刻的文档状态，如果已存在则忽略，不存在则导入，并不会删除数据库原有数据。

    且，思源并不会记录一个文档的历史所在文件夹，因此无法判断数据库中的某个文档，上一次导入时的文件夹是什么。所以，除非你这个数据库是和 A 文件夹一一对应的，且不包含 A 文件夹以外的任何文档，这种情况下，可以在导入时判断已存在的文档是否在 A 目录中，如果不存在则删除。

    另外，如果确实需要包含 A 目录以外的文件夹的文档，需要你自己记录上一次导入时的文档所在文件夹状态，然后再次导入时，根据这个记录去判断已存在文档的目录是否被改变。

    所以，有没有办法解决，怎样解决，看你的需求。但目前的脚本无法实现，需要改造，目前暂不考虑这种需求，如果你有这方面的需求可自行研究改进或请大佬帮忙解决。

  • 查看全部回帖
wilsons
回帖
755
 帖子
21
 积分
17473