登录 注册

思源数据库 API/ 视频 RSS 源定制 / 视频笔记

想做个 rss 插件把 youtube、b 站、抖音订阅的数据抓下来存到思源数据库里，不过看了下官网 api 文档没找到相关的 api，这个有开发的安排计划吗？

=================================

开发好了，还不错，刷抖音不用一页页翻页了，页面直接播放，唯一的问题是往思源批量写数据的时候有点卡顿，尤其是大批量入库的时候，现在插入一条数据要调用五六次接口，希望版本快点更新

image.png

image.png

=================================

2024 年 8 月 5 日 08:44:49

实现了下 B 站和 Youtube 的视频笔记功能，数据入库-> 视频笔记-> 思维导图-> 模型树修剪，视频这块的工作流也打通了，思源数据库这块问题还是不少，之前说的问题等了两个版本都还没有修复

image.png

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    22351 引用 • 89433 回帖 • 1 关注
2 引用
求教下思源笔记是否有简洁的跨平台视频笔记方案 • NieJianYing
思源笔记的表格不能支持放置媒体文件的么？ • JeffreyChen
3 操作
coriger 在 2024-08-05 08:57:23 更新了该帖
coriger 在 2024-06-01 11:14:12 更新了该帖
coriger 在 2024-06-01 11:04:14 更新了该帖
2 感谢
4 收藏
2 引用
3 操作
22 回帖
13
5
1.1k 620 1 512 1 1

相关帖子

22 回帖
思源数据库 API/ 视频 RSS 源定制 / 视频笔记

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
  • 88250 •
    订阅者 MOD

    目前已经有非正式发布的内部 API 支持数据库相关操作，比如添加/删除/排序数据库字段、获取所有字段、添加/删除/更新数据库字段值等，具体请参考 kernel/api/router.go 和 av.go 源文件。

    等这些 API 逐步稳定以后再编入文档，请关注 Issue #11130 · siyuan-note/siyuan

    1 回复
  • coriger •
    作者

    好像没看到往数据库插数据的接口哦

    1 回复
  • llej •
    订阅者 支持者 勇士

    rss 插件我写了一个惹，支持自定义 js 代码运行

    https://github.com/2234839/feed_siyuan_plugin

    2 回复
  • 88250 •
    订阅者 MOD

    addAttributeViewValues

    3 回复
  • coriger •
    作者

    image.png

    数据库的 avId 只能在 f12 找到吗，之前一直用右键复制出来的 id 调用接口，才发现是 nodeId，我说这个数据怎么都取不到

    1 回复
  • coriger •
    作者

    image.png

    image.png

    这个接口我想要同时插入其他几个字段的值要怎么传参，源码看的不是很明白，只看到 id/isDetached/content 这三个字段

    1 回复
  • coriger •
    作者

    刚试了下 setAttributeViewBlockAttr 这个接口，难道只能通过这个接口一个个更新字段值？

    image.png

  • coriger •
    作者

    b 站和抖音的 rss 源不稳定，之前拿 rsshub 二次开发本地起了个服务，不过太笨重了，现在直接写个浏览器插件劫持 api 拿报文数据，数据现在已经走通了，就差写入思源数据库了

  • 88250 •
    订阅者 MOD

    可以试试 searchAttributeView 搜索接口。

  • coriger •
    作者

    而且 rsshub 里面去解析抖音这些网站要处理反作弊机制，很麻烦，浏览器里面搞省心，rsshub 里面大多数源都用不上，还是自己定制开发比较自由

  • 88250 •
    订阅者 MOD

    只能先用这个接口插入行，然后用 setAttributeViewBlockAttr 更新字段，目前只能一个值一个值更新。

    后续我们考虑一下提供创建时更新所有值的接口，谢谢。

    1 回复
  • coriger •
    作者

    好的

    1 回复
  • 88250 •
    订阅者 MOD

    请关注 Issue #11608 · siyuan-note/siyuan

    2 回复
  • coriger •
    作者

    还有个问题，就是我针对状态这个字段进行更新，表里【源数据】这个是模版字段的内容，它会自动刷新一下，有些卡顿，但这个模版字段并不依赖状态这个字段，这个可以优化吗？

    image.png

    1 回复
  • coriger •
    作者

    尤其是我一边看视频一遍在边上的备注框做笔记的时候，每次写完笔记页面就自动刷新，会中断视频播放image.png

  • JeffreyChen • • 1 评论
    付费者 支持者 捐赠者

    数据库目前是整个 DOM 刷新一次的，还没做到对单个条目刷新，所以就会这样

    关联：Issue #11612 · siyuan-note/siyuan

    哦，这个还是有点影响体验，它这个应该也是怕模版字段有依赖才强刷吧，不然局部更新其实没必要刷
    coriger •
  • qiancang • • 3 评论
    付费者

    调用接口往数据库里添加内容是比较慢的，比较快的做法是直接生成数据库的 json 文件，然后将这个数据库插入到文档中，可以参考这个 quicker 动作：表格文件转思源数据库 - by 浅沧 - 动作信息 - Quicker (getquicker.net)

    注意，往 av 文件夹里写文件的时候建议使用 putfile api，不然可能与思源内核产生读写冲突。

    嗯，昨天看了你这个脚本的实现，不过我这边是用浏览器插件实现，没法直接操作本地文件，除非我单独起一个服务中转下，搞得有点麻烦，还是等版本更新提供批量入库的接口，除非是要全量拉取，如果只是做增量入库请求量并不多，我前端入口再做下判断就好
    coriger •
    @coriger putfile 不需要操作本地文件，是给思源 kernel 发文本就行，读写是由内核完成的。
    qiancang •
    哦，好，我去看看
    coriger •
  • coriger • • 1 赞同
    作者

    把视频搞成画中画，编辑的时候倒是不影响视频播放了，可以凑合的用

    image.png

  • Summer2022 •
    订阅者 付费者

    很多学习用户 也有非常强烈的 视频笔记需求

    • 快速把多平台视频 下载下来（或者支持在线学习 b 站 youtube， 抖音视频，更方便的是支持百度网盘阿里云盘的在线视频， 这样减少本地视频存储占用大量 笔记本电脑的空间问题）
    • 笔记软件内 观看视频的同时， 可以快速通过笔记 加时间戳 和 截图
    • 快速把视频的字幕拉下来
    • 用 ai 对视频字幕进行总结摘要和提问

    如果有哪位开发者提供思源类似的插件

    • 功德无量，愿意付费支持
    2 回复
  • coriger •
    作者

    如果只是做视频笔记，记录时间戳截图这些还是很容易实现的，直接在浏览器打开思源，开个分屏，左边视频右边思源，然后写个浏览器插件读取当前左边窗口的视频 video 对象，拿到对象就可以拿到时间戳或者根据时间戳自动跳转，我自己日常主要是看 youtube 和 B 站基本够用，只要是能获取 video 对象不管什么网站都可以用这种方式做笔记，我自己的工作流一般还是先从抓取开始，先抓取数据，然后看情况哪些需要精读，再创建文档做视频笔记，至于 ai 那些还是要借助第三方平台

    image.png

  • coriger •
    作者

    image.png

  • coriger •
    作者

    试了下百度云，这种机制也是可以正常使用的，字幕、ai 那些就直接用百度云提供的就行

    image.png

请输入回帖内容 ...
coriger
回帖
40
 帖子
7
 积分
721

近期热议

推荐标签 标签

  • PHP

    PHP（Hypertext Preprocessor）是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点，主要适用于 Web 开发领域，据说是世界上最好的编程语言。

    179 引用 • 407 回帖 • 488 关注
  • 生活

    生活是指人类生存过程中的各项活动的总和，范畴较广，一般指为幸福的意义而存在。生活实际上是对人生的一种诠释。生活包括人类在社会中与自己息息相关的日常活动和心理影射。

    230 引用 • 1454 回帖
  • 导航

    各种网址链接、内容导航。

    40 引用 • 173 回帖
  • 支付宝

    支付宝是全球领先的独立第三方支付平台，致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验，及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖
  • OnlyOffice
    4 引用 • 3 关注
  • 禅道

    禅道是一款国产的开源项目管理软件，她的核心管理思想基于敏捷方法 scrum，内置了产品管理和项目管理，同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能，在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来，完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 113 关注
  • Mac

    Mac 是苹果公司自 1984 年起以“Macintosh”开始开发的个人消费型计算机，如：iMac、Mac mini、Macbook Air、Macbook Pro、Macbook、Mac Pro 等计算机。

    166 引用 • 595 回帖
  • B3log

    B3log 是一个开源组织，名字来源于“Bulletin Board Blog”缩写，目标是将独立博客与论坛结合，形成一种新的网络社区体验，详细请看 B3log 构思。目前 B3log 已经开源了多款产品：Sym、Solo、Vditor 和 思源笔记。

    1063 引用 • 3453 回帖 • 203 关注
  • WebClipper

    Web Clipper 是一款浏览器剪藏扩展，它可以帮助你把网页内容剪藏到本地。

    3 引用 • 9 回帖
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据（或者事件）流的 API。它组合了观察者模式，迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 155 关注
  • Dubbo

    Dubbo 是一个分布式服务框架，致力于提供高性能和透明化的 RPC 远程服务调用方案，是 [阿里巴巴] SOA 服务化治理方案的核心框架，每天为 2,000+ 个服务提供 3,000,000,000+ 次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点。

    60 引用 • 82 回帖 • 596 关注
  • 星云链

    星云链是一个开源公链，业内简单的将其称为区块链上的谷歌。其实它不仅仅是区块链搜索引擎，一个公链的所有功能，它基本都有，比如你可以用它来开发部署你的去中心化的 APP，你可以在上面编写智能合约，发送交易等等。3 分钟快速接入星云链 (NAS) 测试网

    3 引用 • 16 回帖
  • 锤子科技

    锤子科技（Smartisan）成立于 2012 年 5 月，是一家制造移动互联网终端设备的公司，公司的使命是用完美主义的工匠精神，打造用户体验一流的数码消费类产品（智能手机为主），改善人们的生活质量。

    4 引用 • 31 回帖 • 3 关注
  • 音乐

    你听到信仰的声音了么？

    60 引用 • 511 回帖
  • 阿里巴巴

    阿里巴巴网络技术有限公司（简称：阿里巴巴集团）是以曾担任英语教师的马云为首的 18 人，于 1999 年在中国杭州创立，他们相信互联网能够创造公平的竞争环境，让小企业通过创新与科技扩展业务，并在参与国内或全球市场竞争时处于更有利的位置。

    43 引用 • 221 回帖 • 114 关注
  • JRebel

    JRebel 是一款 Java 虚拟机插件，它使得 Java 程序员能在不进行重部署的情况下，即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 664 关注
  • App

    App（应用程序，Application 的缩写）一般指手机软件。

    91 引用 • 384 回帖
  • jsDelivr

    jsDelivr 是一个开源的 CDN 服务，可为 npm 包、GitHub 仓库提供免费、快速并且可靠的全球 CDN 加速服务。

    5 引用 • 31 回帖 • 57 关注
  • WebComponents

    Web Components 是 W3C 定义的标准，它给了前端开发者扩展浏览器标签的能力，可以方便地定制可复用组件，更好的进行模块化开发，解放了前端开发者的生产力。

    1 引用
  • 游戏

    沉迷游戏伤身，强撸灰飞烟灭。

    176 引用 • 815 回帖
  • 七牛云

    七牛云是国内领先的企业级公有云服务商，致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景，七牛先后推出了对象存储，融合 CDN 加速，数据通用处理，内容反垃圾服务，以及直播云服务等。

    27 引用 • 225 回帖 • 169 关注
  • 新人

    让我们欢迎这对新人。哦，不好意思说错了，让我们欢迎这位新人！
    新手上路，请谨慎驾驶！

    52 引用 • 228 回帖
  • 安全

    安全永远都不是一个小问题。

    199 引用 • 816 回帖 • 2 关注
  • Typecho

    Typecho 是一款博客程序，它在 GPLv2 许可证下发行，基于 PHP 构建，可以运行在各种平台上，支持多种数据库（MySQL、PostgreSQL、SQLite）。

    12 引用 • 65 回帖 • 437 关注
  • 分享

    有什么新发现就分享给大家吧！

    248 引用 • 1792 回帖 • 1 关注
  • jQuery

    jQuery 是一套跨浏览器的 JavaScript 库，强化 HTML 与 JavaScript 之间的操作。由 John Resig 在 2006 年 1 月的 BarCamp NYC 上释出第一个版本。全球约有 28% 的网站使用 jQuery，是非常受欢迎的 JavaScript 库。

    63 引用 • 134 回帖 • 724 关注
  • 人工智能

    人工智能（Artificial Intelligence）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。

    132 引用 • 189 回帖

最新标签