请问有什么方法可以提升使用 sql 语句查询笔记的效率嘛

本贴最后更新于 271 天前,其中的信息可能已经天翻地覆

请教一下,对于像这样比较大的 sql 语句,有什么方法可以提升一下运行的效率吗?这个查询语句是用 AI 生成的,但是 AI 给出的优化好像也不明显,感觉还是好慢

WITH RECURSIVE TitleBlocks AS (
    -- 第一层,找到所有超级块 B 里的标题块(一级标题)
    SELECT b2.id, b2.content
    FROM blocks AS b2
    WHERE b2.type = 'h'  -- 标题块


        -------!!!!!【在这里修改需要汇总的书籍名字】!!!!!---------
    AND b2.markdown LIKE '%# 《亲密关系》-米勒-目录%'-- 超级块 B 的条件


    UNION ALL
    -- 后续层级,找到所有子标题块(递归查找每个标题块的 parent_id)
    SELECT b2.id, b2.content
    FROM blocks AS b2
    JOIN TitleBlocks AS tb ON b2.parent_id = tb.id  -- 递归查找 parent_id
    WHERE b2.type = 'h'  -- 继续筛选标题块
),
-- 定义 CTE FilteredBlocks 用于筛选 type 为 'i' 且包含标题块内容的记录
FilteredBlocks AS (
    SELECT b1.markdown
    FROM blocks AS b1
    JOIN TitleBlocks AS tb
        ON b1.markdown LIKE '%' || tb.content || '%'  -- 只匹配包含标题块内容的记录
    WHERE b1.type = 'i'  -- 筛选出 type 为 'i' 的块
    AND b1.markdown NOT LIKE '%00-功能测试%' 
),
-- 生成包含所有要统计类型的辅助表
Types AS (
    SELECT '精彩文案' AS type
    UNION ALL
    SELECT '重要观点' AS type
    UNION ALL
    SELECT '内容讨论' AS type
    UNION ALL
    SELECT '内容有感' AS type
),
-- 统计精彩文案数量
GreatCopywritingCount AS (
    SELECT 
        COUNT(*) AS count
    FROM blocks AS bb
    WHERE
        bb.type = 'i'
        AND bb.fcontent LIKE '%精彩文案%'
        AND bb.markdown LIKE '%精彩文案%>%'
        AND EXISTS (
            -- 通过 EXISTS 查找 FilteredBlocks 中的匹配记录
            SELECT 1
            FROM FilteredBlocks fb
            WHERE REPLACE(REPLACE(fb.markdown, '\n', ''), ' ', '') LIKE '%' || REPLACE(REPLACE(bb.markdown, '\n', ''), ' ', '') || '%'
        )
),
-- 统计重要观点数量
ImportantOpinionCount AS (
    SELECT 
        COUNT(*) AS count
    FROM blocks AS bb
    WHERE
        bb.type = 'i'
        AND bb.fcontent LIKE '%重要观点%'
        AND bb.markdown LIKE '%重要观点%>%'
        AND EXISTS (
            -- 通过 EXISTS 查找 FilteredBlocks 中的匹配记录
            SELECT 1
            FROM FilteredBlocks fb
            WHERE REPLACE(REPLACE(fb.markdown, '\n', ''), ' ', '') LIKE '%' || REPLACE(REPLACE(bb.markdown, '\n', ''), ' ', '') || '%'
        )
),
-- 统计内容讨论数量
ContentDiscussionCount AS (
    SELECT 
        COUNT(*) AS count
    FROM blocks AS bb
    WHERE
        bb.type = 'i'
        AND bb.fcontent LIKE '%内容讨论%'
        AND bb.markdown LIKE '%内容讨论%>%'
        AND EXISTS (
            -- 通过 EXISTS 查找 FilteredBlocks 中的匹配记录
            SELECT 1
            FROM FilteredBlocks fb
            WHERE REPLACE(REPLACE(fb.markdown, '\n', ''), ' ', '') LIKE '%' || REPLACE(REPLACE(bb.markdown, '\n', ''), ' ', '') || '%'
        )
),
-- 统计内容有感数量
ContentReflectionCount AS (
    SELECT 
        COUNT(*) AS count
    FROM blocks AS bb
    WHERE
        bb.type = 'i'
        AND bb.fcontent LIKE '%内容有感%'
        AND bb.markdown LIKE '%内容有感%>%'
        AND EXISTS (
            -- 通过 EXISTS 查找 FilteredBlocks 中的匹配记录
            SELECT 1
            FROM FilteredBlocks fb
            WHERE REPLACE(REPLACE(fb.markdown, '\n', ''), ' ', '') LIKE '%' || REPLACE(REPLACE(bb.markdown, '\n', ''), ' ', '') || '%'
        )
)
SELECT
    t.type AS 笔记类型,
    COALESCE(
        CASE 
            WHEN t.type = '精彩文案' THEN gcc.count
            WHEN t.type = '重要观点' THEN ioc.count
            WHEN t.type = '内容讨论' THEN cdc.count
            WHEN t.type = '内容有感' THEN crc.count
            ELSE 0
        END,
        0
    ) AS 笔记数量
FROM Types t
LEFT JOIN GreatCopywritingCount gcc ON t.type = '精彩文案'
LEFT JOIN ImportantOpinionCount ioc ON t.type = '重要观点'
LEFT JOIN ContentDiscussionCount cdc ON t.type = '内容讨论'
LEFT JOIN ContentReflectionCount crc ON t.type = '内容有感'
GROUP BY t.type;
  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    28446 引用 • 119790 回帖
  • SQL
    134 引用 • 402 回帖 • 3 关注
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    11155 引用 • 50666 回帖 • 52 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • SyTlr

    我的使用场景是,想把把阅读书本时产生的笔记 按不同的功能标签 汇总起来,另外统计不同的功能标签的笔记数量。

    所以设计了一个类似下面的结构:

    - [[书本名字反链]],#读书笔记标签#
    
        ## 书本章节1
    
        ### [[主题反链]]
    
        - #功能标签1#
    	笔记内容
    

    因为 功能标签的父级块不是书本名字,所以就想到 多嵌套一层查询条件,通过匹配查找书本目录这个超级块里的章节名称(标题块)来找到对应的笔记内容 ,实现曲线救国

    帖子里的语句 是 汇总统计了 在这个结构下 4 个不同功能标签 对应的笔记数量

    3 操作
    SyTlr 在 2025-03-26 20:30:04 更新了该回帖
    SyTlr 在 2025-03-26 20:24:17 更新了该回帖
    SyTlr 在 2025-03-26 20:21:22 更新了该回帖
  • 其他回帖
  • SyTlr

    emmm,用 gpt 重新写了一个查询语句,性能高了很多很多,贴在这里记录一下吧

    WITH RECURSIVE TargetBook AS (
        -- 目标书籍
        SELECT '《最好的我们》' AS book_name
    ),
    
    TargetExclusion AS (
        -- 需要排除的内容
        SELECT '%((%00-功能测试文档%))%' AS exclusion_pattern
    ),
    
    FilteredBlocks AS (
        -- 只保留符合条件的内容块
        SELECT * FROM blocks 
        WHERE hpath LIKE '%/DailyNote-时间索引/%'
        AND content NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)
    ),
    
    BookChapters AS (
        -- 选取目录超级块(确保是指定书籍的目录)
        SELECT b.id, b.content, b.markdown
        FROM FilteredBlocks AS b
        JOIN TargetBook tb ON b.fcontent LIKE tb.book_name || '-%'
        WHERE b.type = 's'  
        AND b.markdown NOT LIKE '{{{col%' 
        AND b.markdown NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)
    
        UNION ALL
    
        -- 递归查找属于该书籍目录的所有章节块(标题 h)
        SELECT b2.id, b2.content, b2.markdown
        FROM FilteredBlocks AS b2
        JOIN BookChapters AS bc ON b2.parent_id = bc.id
        WHERE b2.type = 'h'  
        AND b2.markdown NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)
    ),
    
    RelatedNotes AS (
        -- 直接包含对该书籍的反链引用的内容块
        SELECT b.id, b.content, b.markdown, b.type, b.hpath
        FROM FilteredBlocks AS b
        JOIN TargetBook tb ON b.markdown LIKE '%((%' || tb.book_name || '%))%'
        AND b.markdown NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)
    
        UNION
    
        -- 通过 refs 表反链引用书籍章节的内容块
        SELECT b.id, b.content, b.markdown, b.type, b.hpath
        FROM FilteredBlocks AS b
        JOIN refs AS r ON b.id = r.def_block_id
        WHERE r.def_block_id IN (SELECT id FROM BookChapters)
        AND b.markdown NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)
    ),
    
    -- 递归查找 RelatedNotes 的所有子块
    RecursiveChildren AS (
        SELECT b.*
        FROM FilteredBlocks b
        WHERE b.parent_id IN (SELECT id FROM RelatedNotes)
    
        UNION
    
        SELECT b.*
        FROM FilteredBlocks b
        JOIN RecursiveChildren rc ON b.parent_id = rc.id
        WHERE b.content NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)
    ),
    
    TagList AS (
        -- 统一管理所有要统计的标签
        SELECT '内容有感' AS 笔记类型, '%内容有感%#%' AS tag_pattern
        UNION ALL
        SELECT '内容讨论', '%内容讨论%#%'
        UNION ALL
        SELECT '精彩文案', '%精彩文案%#%'
        UNION ALL
        SELECT '重要观点', '%重要观点%#%'
    ),
    
    DesiredTags AS (
        -- 筛选出符合 TagList 里定义标签的内容块
        SELECT b.*, t.笔记类型
        FROM RecursiveChildren b
        JOIN TagList t ON b.tag LIKE t.tag_pattern
        WHERE b.tag NOT LIKE '%#【专辑】%读书笔记#%'
        AND b.type = 'i'
    ),
    
    TagCounts AS (
        -- 统计每个标签的笔记数量
        SELECT t.笔记类型, COUNT(b.id) AS 数量
        FROM TagList t
        LEFT JOIN DesiredTags b ON t.笔记类型 = b.笔记类型
        GROUP BY t.笔记类型
    )
    
    -- 最终统计结果,保证所有标签都显示,即使没有笔记
    SELECT t.笔记类型, COALESCE(tc.数量, 0) AS 数量
    FROM TagList t
    LEFT JOIN TagCounts tc ON t.笔记类型 = tc.笔记类型
    ORDER BY t.笔记类型;
    
    
  • 为什么要搞这么复杂,你的实际需求是什么?

    1 回复
  • SyTlr

    这是查询单个标签笔记的 sql

    WITH RECURSIVE TargetBook AS (
        -- 这里定义目标书籍名称
        SELECT '《我们纯真的青春》' AS book_name
    ),
    
    TargetExclusion AS (
        -- 这里定义需要排除的内容
        SELECT '%((%00-功能测试文档%))%' AS exclusion_pattern
    ),
    
    FilteredBlocks AS (
        -- 只保留 hpath 符合条件的内容块
        SELECT * FROM blocks 
        WHERE hpath LIKE '%/DailyNote-时间索引/%'
        AND content NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)  -- 排除内容块中的不相关内容
    ),
    
    BookChapters AS (
        -- 选取目录超级块(确保是指定书籍的目录)
        SELECT b.id, b.content, b.markdown
        FROM FilteredBlocks AS b
        JOIN TargetBook tb ON b.fcontent LIKE tb.book_name || '-%'
        WHERE b.type = 's'  
        AND b.markdown NOT LIKE '{{{col%' 
        AND b.markdown NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)  -- 排除不相关内容块
    
        UNION ALL
    
        -- 递归查找属于该书籍目录的 **所有章节块(标题 h)**
        SELECT b2.id, b2.content, b2.markdown
        FROM FilteredBlocks AS b2
        JOIN BookChapters AS bc ON b2.parent_id = bc.id
        WHERE b2.type = 'h'  -- 只递归查找标题块
        AND b2.markdown NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)  -- 排除不相关内容块
    ),
    
    RelatedNotes AS (
        -- 直接包含对该书籍的反链引用的内容块
        SELECT b.id, b.content, b.markdown, b.type, b.hpath
        FROM FilteredBlocks AS b
        JOIN TargetBook tb ON b.markdown LIKE '%((%' || tb.book_name || '%))%'
        AND b.markdown NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)  -- 排除不相关内容块
    
        UNION
    
        -- 通过 refs 表反链引用书籍章节的内容块
        SELECT b.id, b.content, b.markdown, b.type, b.hpath
        FROM FilteredBlocks AS b
        JOIN refs AS r ON b.id = r.def_block_id
        WHERE r.def_block_id IN (SELECT id FROM BookChapters)
        AND b.markdown NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)  -- 排除不相关内容块
    ),
    
    -- 递归查找 `RelatedNotes` 的所有子块
    RecursiveChildren AS (
        SELECT b.*
        FROM FilteredBlocks b
        WHERE b.parent_id IN (SELECT id FROM RelatedNotes)
    
        UNION
    
        SELECT b.*
        FROM FilteredBlocks b
        JOIN RecursiveChildren rc ON b.parent_id = rc.id
        WHERE b.content NOT LIKE (SELECT exclusion_pattern FROM TargetExclusion)  -- 排除子块中的不相关内容
    ),
    
    ImportantPoints AS (
        -- 筛选出 “#功能标签#” 的内容块
        SELECT b.*
        FROM RecursiveChildren b
        WHERE 
            b.tag LIKE '%精彩文案%#%'  -- 确保包含 #功能标签#
            AND b.tag NOT LIKE '%#【专辑】%读书笔记#%'  -- 确保不包含 #【专辑】%读书笔记#
            AND b.type = 'i'
    )
    
    SELECT * FROM ImportantPoints
    ORDER BY CREATED;
    
    

推荐标签 标签

  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    248 引用 • 1342 回帖
  • Thymeleaf

    Thymeleaf 是一款用于渲染 XML/XHTML/HTML5 内容的模板引擎。类似 Velocity、 FreeMarker 等,它也可以轻易的与 Spring 等 Web 框架进行集成作为 Web 应用的模板引擎。与其它模板引擎相比,Thymeleaf 最大的特点是能够直接在浏览器中打开并正确显示模板页面,而不需要启动整个 Web 应用。

    11 引用 • 19 回帖 • 413 关注
  • 倾城之链
    23 引用 • 66 回帖 • 189 关注
  • BND

    BND(Baidu Netdisk Downloader)是一款图形界面的百度网盘不限速下载器,支持 Windows、Linux 和 Mac,详细介绍请看这里

    107 引用 • 1281 回帖 • 36 关注
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器,详细介绍请看 将 Java Swing 应用变成 Web 应用

    1 引用 • 15 回帖 • 669 关注
  • GraphQL

    GraphQL 是一个用于 API 的查询语言,是一个使用基于类型系统来执行查询的服务端运行时(类型系统由你的数据定义)。GraphQL 并没有和任何特定数据库或者存储引擎绑定,而是依靠你现有的代码和数据支撑。

    4 引用 • 3 回帖 • 11 关注
  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    12 引用 • 5 回帖 • 660 关注
  • webpack

    webpack 是一个用于前端开发的模块加载器和打包工具,它能把各种资源,例如 JS、CSS(less/sass)、图片等都作为模块来使用和处理。

    43 引用 • 130 回帖 • 259 关注
  • Spark

    Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架。Spark 拥有 Hadoop MapReduce 所具有的优点;但不同于 MapReduce 的是 Job 中间输出结果可以保存在内存中,从而不再需要读写 HDFS,因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 MapReduce 的算法。

    74 引用 • 46 回帖 • 563 关注
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    71 引用 • 535 回帖 • 847 关注
  • Vue.js

    Vue.js(读音 /vju ː/,类似于 view)是一个构建数据驱动的 Web 界面库。Vue.js 的目标是通过尽可能简单的 API 实现响应的数据绑定和组合的视图组件。

    269 引用 • 666 回帖 • 1 关注
  • Solidity

    Solidity 是一种智能合约高级语言,运行在 [以太坊] 虚拟机(EVM)之上。它的语法接近于 JavaScript,是一种面向对象的语言。

    3 引用 • 18 回帖 • 458 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 60 关注
  • 链滴

    链滴是一个记录生活的地方。

    记录生活,连接点滴

    203 引用 • 4025 回帖
  • Angular

    AngularAngularJS 的新版本。

    26 引用 • 66 回帖 • 578 关注
  • Unity

    Unity 是由 Unity Technologies 开发的一个让开发者可以轻松创建诸如 2D、3D 多平台的综合型游戏开发工具,是一个全面整合的专业游戏引擎。

    27 引用 • 7 回帖 • 92 关注
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大,比用其他编程程序编辑的程序效率更高,因为它使用了 Linux/Unix 下的命令。

    126 引用 • 83 回帖 • 1 关注
  • 单点登录

    单点登录(Single Sign On)是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖 • 8 关注
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库,专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 98 关注
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    59 引用 • 25 回帖 • 5 关注
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    117 引用 • 99 回帖 • 190 关注
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    173 引用 • 1559 回帖
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发,并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例: https://wide.b3log.org

    30 引用 • 218 回帖 • 664 关注
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台, 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动, 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖 • 1 关注
  • Notion

    Notion - The all-in-one workspace for your notes, tasks, wikis, and databases.

    10 引用 • 80 回帖 • 1 关注
  • sts
    2 引用 • 2 回帖 • 260 关注
  • GitBook

    GitBook 使您的团队可以轻松编写和维护高质量的文档。 分享知识,提高团队的工作效率,让用户满意。

    3 引用 • 8 回帖