登录 注册

思源数据库 API/ 视频 RSS 源定制 / 视频笔记

想做个 rss 插件把 youtube、b 站、抖音订阅的数据抓下来存到思源数据库里，不过看了下官网 api 文档没找到相关的 api，这个有开发的安排计划吗？

=================================

开发好了，还不错，刷抖音不用一页页翻页了，页面直接播放，唯一的问题是往思源批量写数据的时候有点卡顿，尤其是大批量入库的时候，现在插入一条数据要调用五六次接口，希望版本快点更新

image.png

image.png

=================================

2024 年 8 月 5 日 08:44:49

实现了下 B 站和 Youtube 的视频笔记功能，数据入库-> 视频笔记-> 思维导图-> 模型树修剪，视频这块的工作流也打通了，思源数据库这块问题还是不少，之前说的问题等了两个版本都还没有修复

image.png

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    22334 引用 • 89361 回帖
2 引用
求教下思源笔记是否有简洁的跨平台视频笔记方案 • NieJianYing
思源笔记的表格不能支持放置媒体文件的么？ • JeffreyChen
3 操作
coriger 在 2024-08-05 08:57:23 更新了该帖
coriger 在 2024-06-01 11:14:12 更新了该帖
coriger 在 2024-06-01 11:04:14 更新了该帖
2 感谢
4 收藏
2 引用
3 操作
22 回帖
13
5
1.1k 618 1 510 1 1

相关帖子

22 回帖
思源数据库 API/ 视频 RSS 源定制 / 视频笔记

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 88250 •
    订阅者 MOD

    目前已经有非正式发布的内部 API 支持数据库相关操作，比如添加/删除/排序数据库字段、获取所有字段、添加/删除/更新数据库字段值等，具体请参考 kernel/api/router.go 和 av.go 源文件。

    等这些 API 逐步稳定以后再编入文档，请关注 Issue #11130 · siyuan-note/siyuan

    1 回复
  • coriger •
    作者

    好像没看到往数据库插数据的接口哦

    1 回复
  • llej •
    订阅者 支持者 勇士

    rss 插件我写了一个惹，支持自定义 js 代码运行

    https://github.com/2234839/feed_siyuan_plugin

    2 回复
  • 88250 •
    订阅者 MOD

    addAttributeViewValues

    3 回复
  • coriger •
    作者

    image.png

    数据库的 avId 只能在 f12 找到吗，之前一直用右键复制出来的 id 调用接口，才发现是 nodeId，我说这个数据怎么都取不到

    1 回复
  • coriger •
    作者

    image.png

    image.png

    这个接口我想要同时插入其他几个字段的值要怎么传参，源码看的不是很明白，只看到 id/isDetached/content 这三个字段

    1 回复
  • coriger •
    作者

    刚试了下 setAttributeViewBlockAttr 这个接口，难道只能通过这个接口一个个更新字段值？

    image.png

  • coriger •
    作者

    b 站和抖音的 rss 源不稳定，之前拿 rsshub 二次开发本地起了个服务，不过太笨重了，现在直接写个浏览器插件劫持 api 拿报文数据，数据现在已经走通了，就差写入思源数据库了

  • 88250 •
    订阅者 MOD

    可以试试 searchAttributeView 搜索接口。

  • coriger •
    作者

    而且 rsshub 里面去解析抖音这些网站要处理反作弊机制，很麻烦，浏览器里面搞省心，rsshub 里面大多数源都用不上，还是自己定制开发比较自由

  • 88250 •
    订阅者 MOD

    只能先用这个接口插入行，然后用 setAttributeViewBlockAttr 更新字段，目前只能一个值一个值更新。

    后续我们考虑一下提供创建时更新所有值的接口，谢谢。

    1 回复
  • coriger •
    作者

    好的

    1 回复
  • 88250 •
    订阅者 MOD

    请关注 Issue #11608 · siyuan-note/siyuan

    2 回复
  • coriger •
    作者

    还有个问题，就是我针对状态这个字段进行更新，表里【源数据】这个是模版字段的内容，它会自动刷新一下，有些卡顿，但这个模版字段并不依赖状态这个字段，这个可以优化吗？

    image.png

    1 回复
  • coriger •
    作者

    尤其是我一边看视频一遍在边上的备注框做笔记的时候，每次写完笔记页面就自动刷新，会中断视频播放image.png

  • JeffreyChen • • 1 评论
    付费者 支持者 捐赠者

    数据库目前是整个 DOM 刷新一次的，还没做到对单个条目刷新，所以就会这样

    关联：Issue #11612 · siyuan-note/siyuan

    哦，这个还是有点影响体验，它这个应该也是怕模版字段有依赖才强刷吧，不然局部更新其实没必要刷
    coriger •
  • qiancang • • 3 评论
    付费者

    调用接口往数据库里添加内容是比较慢的，比较快的做法是直接生成数据库的 json 文件，然后将这个数据库插入到文档中，可以参考这个 quicker 动作：表格文件转思源数据库 - by 浅沧 - 动作信息 - Quicker (getquicker.net)

    注意，往 av 文件夹里写文件的时候建议使用 putfile api，不然可能与思源内核产生读写冲突。

    嗯，昨天看了你这个脚本的实现，不过我这边是用浏览器插件实现，没法直接操作本地文件，除非我单独起一个服务中转下，搞得有点麻烦，还是等版本更新提供批量入库的接口，除非是要全量拉取，如果只是做增量入库请求量并不多，我前端入口再做下判断就好
    coriger •
    @coriger putfile 不需要操作本地文件，是给思源 kernel 发文本就行，读写是由内核完成的。
    qiancang •
    哦，好，我去看看
    coriger •
  • coriger • • 1 赞同
    作者

    把视频搞成画中画，编辑的时候倒是不影响视频播放了，可以凑合的用

    image.png

  • Summer2022 •
    订阅者 付费者

    很多学习用户 也有非常强烈的 视频笔记需求

    • 快速把多平台视频 下载下来（或者支持在线学习 b 站 youtube， 抖音视频，更方便的是支持百度网盘阿里云盘的在线视频， 这样减少本地视频存储占用大量 笔记本电脑的空间问题）
    • 笔记软件内 观看视频的同时， 可以快速通过笔记 加时间戳 和 截图
    • 快速把视频的字幕拉下来
    • 用 ai 对视频字幕进行总结摘要和提问

    如果有哪位开发者提供思源类似的插件

    • 功德无量，愿意付费支持
    2 回复
  • coriger •
    作者

    如果只是做视频笔记，记录时间戳截图这些还是很容易实现的，直接在浏览器打开思源，开个分屏，左边视频右边思源，然后写个浏览器插件读取当前左边窗口的视频 video 对象，拿到对象就可以拿到时间戳或者根据时间戳自动跳转，我自己日常主要是看 youtube 和 B 站基本够用，只要是能获取 video 对象不管什么网站都可以用这种方式做笔记，我自己的工作流一般还是先从抓取开始，先抓取数据，然后看情况哪些需要精读，再创建文档做视频笔记，至于 ai 那些还是要借助第三方平台

    image.png

  • coriger •
    作者

    image.png

  • coriger •
    作者

    试了下百度云，这种机制也是可以正常使用的，字幕、ai 那些就直接用百度云提供的就行

    image.png

请输入回帖内容 ...
coriger
回帖
40
 帖子
7
 积分
721

近期热议

推荐标签 标签

  • 爬虫

    网络爬虫（Spider、Crawler），是一种按照一定的规则，自动地抓取万维网信息的程序。

    106 引用 • 275 回帖
  • CentOS

    CentOS（Community Enterprise Operating System）是 Linux 发行版之一，它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖
  • Q&A

    提问之前请先看《提问的智慧》，好的问题比好的答案更有价值。

    8109 引用 • 36991 回帖 • 161 关注
  • 强迫症

    强迫症（OCD）属于焦虑障碍的一种类型，是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病，其特点为有意识的强迫和反强迫并存，一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖
  • Caddy

    Caddy 是一款默认自动启用 HTTPS 的 HTTP/2 Web 服务器。

    12 引用 • 54 回帖 • 166 关注
  • 以太坊

    以太坊（Ethereum）并不是一个机构，而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity，使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物：投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖
  • Webswing

    Webswing 是一个能将任何 Swing 应用通过纯 HTML5 运行在浏览器中的 Web 服务器，详细介绍请看 将 Java Swing 应用变成 Web 应用 。

    1 引用 • 15 回帖 • 629 关注
  • 支付宝

    支付宝是全球领先的独立第三方支付平台，致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验，及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖 • 1 关注
  • AngularJS

    AngularJS 诞生于 2009 年，由 Misko Hevery 等人创建，后为 Google 所收购。是一款优秀的前端 JS 框架，已经被用于 Google 的多款产品当中。AngularJS 有着诸多特性，最为核心的是：MVC、模块化、自动化双向数据绑定、语义化标签、依赖注入等。2.0 版本后已经改名为 Angular。

    12 引用 • 50 回帖 • 474 关注
  • 黑曜石

    黑曜石是一款强大的知识库工具，支持本地 Markdown 文件编辑，支持双向链接和关系图。

    A second brain, for you, forever.

    15 引用 • 122 回帖
  • OkHttp

    OkHttp 是一款 HTTP & HTTP/2 客户端库，专为 Android 和 Java 应用打造。

    16 引用 • 6 回帖 • 62 关注
  • B3log

    B3log 是一个开源组织，名字来源于“Bulletin Board Blog”缩写，目标是将独立博客与论坛结合，形成一种新的网络社区体验，详细请看 B3log 构思。目前 B3log 已经开源了多款产品：Sym、Solo、Vditor 和 思源笔记。

    1063 引用 • 3453 回帖 • 203 关注
  • Git

    Git 是 Linux Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。

    209 引用 • 358 回帖 • 1 关注
  • Sublime

    Sublime Text 是一款可以用来写代码、写文章的文本编辑器。支持代码高亮、自动完成，还支持通过插件进行扩展。

    10 引用 • 5 回帖
  • V2Ray
    1 引用 • 15 回帖 • 1 关注
  • TGIF

    Thank God It's Friday! 感谢老天，总算到星期五啦！

    287 引用 • 4484 回帖 • 669 关注
  • FFmpeg

    FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

    23 引用 • 32 回帖
  • PWA

    PWA（Progressive Web App）是 Google 在 2015 年提出、2016 年 6 月开始推广的项目。它结合了一系列现代 Web 技术，在网页应用中实现和原生应用相近的用户体验。

    14 引用 • 69 回帖 • 154 关注
  • LaTeX

    LaTeX（音译“拉泰赫”）是一种基于 ΤΕΧ 的排版系统，由美国计算机学家莱斯利·兰伯特（Leslie Lamport）在 20 世纪 80 年代初期开发，利用这种格式，即使使用者没有排版和程序设计的知识也可以充分发挥由 TeX 所提供的强大功能，能在几天，甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式，这一点表现得尤为突出。因此它非常适用于生成高印刷质量的科技和数学类文档。

    12 引用 • 54 回帖 • 65 关注
  • 生活

    生活是指人类生存过程中的各项活动的总和，范畴较广，一般指为幸福的意义而存在。生活实际上是对人生的一种诠释。生活包括人类在社会中与自己息息相关的日常活动和心理影射。

    230 引用 • 1454 回帖
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机，如：iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    166 引用 • 595 回帖
  • Ant-Design

    Ant Design 是服务于企业级产品的设计体系，基于确定和自然的设计价值观上的模块化解决方案，让设计者和开发者专注于更好的用户体验。

    17 引用 • 23 回帖 • 1 关注
  • 微软

    微软是一家美国跨国科技公司，也是世界 PC 软件开发的先导，由比尔·盖茨与保罗·艾伦创办于 1975 年，公司总部设立在华盛顿州的雷德蒙德（Redmond，邻近西雅图）。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

    8 引用 • 44 回帖
  • RIP

    愿逝者安息！

    8 引用 • 92 回帖 • 351 关注
  • golang

    Go 语言是 Google 推出的一种全新的编程语言，可以在不损失应用程序性能的情况下降低代码的复杂性。谷歌首席软件工程师罗布派克（Rob Pike）说：我们之所以开发 Go，是因为过去 10 多年间软件开发的难度令人沮丧。Go 是谷歌 2009 发布的第二款编程语言。

    497 引用 • 1387 回帖 • 285 关注
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 31 关注
  • 代码片段

    代码片段分为 CSS 与 JS 两种代码，添加在 [设置 - 外观 - 代码片段] 中，这些代码会在思源笔记加载时自动执行，用于改善笔记的样式或功能。

    用户在该标签下分享代码片段时需在帖子标题前添加 [css] 或 [js] 用于区分代码片段类型。

    69 引用 • 372 回帖 • 1 关注

最新标签