复制大文本处理机制问题

复制大文本到思源,软件失去反应。纯文本才 100 多万行,不算多,格式是:汉字 +tab+ 字母,还有上亿的词库不敢放上去。

这个失去反应的时间大概是......没测试过,反正 1 个小时是有的了 😂,貌似不是电脑反应慢的问题,而是思源直接崩了。同样粘贴到 everdit、Ndd--等文本工具中的反应速度是 1-2 秒。

或者如果不支持一次性粘贴这么多的行,也不要默默的卡住不动,最好给个提示:30 秒无响应,程序将重启,数据无法保留。

测试方法:

下载复制中的文本,用文本工具打开,全选然后复制,粘贴到思源。

注意事项:

如果解决了这个问题,也要同步考虑大文本查找替换的情况,会不会失去反应。

输入法大词库 123 万.zip

搜狗截图 20230919151249.jpg

搜狗截图 20230919150800.jpg

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    15037 引用 • 52242 回帖
4 操作
tongzi 在 2023-09-19 15:43:29 更新了该帖
tongzi 在 2023-09-19 15:42:37 更新了该帖
tongzi 在 2023-09-19 15:29:02 更新了该帖
tongzi 在 2023-09-19 15:23:43 更新了该帖

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • ciwoyipang 1 赞同 1 评论

    为啥想不开用复制来做这种事情。。思源是块编辑器。,每个块都有对应的 id,都要写入数据库,你这样不是再让它反复重复干这个事情,能快吗。那些文本编辑器根本就没这些元素直接打开那肯定快的。

    我下载试了下复制到 Word。。5 分钟了还在未响应。
    ciwoyipang
  • temacc0531 1 赞同

    也许你可以试试使用导入

    1 回复
  • 我感觉是没必要导入哈哈,给搜索带来了大量污染,一个文本 100 多万行,要知道 Excel 目前的上限也就 104.8 万行。

  • 有个问题,你这个文本里面是没有空行的,所以如果直接粘贴的画,可能会被识别成一个块里面的所有内容。

    我不清楚一个块里面放百万行的文本会不会存在性能问题。

    1 回复
  • 「同样粘贴到 everdit、Ndd--等文本工具中的反应速度是 1-2 秒。」跟文本编辑器比没有意义的。

    思源是可见即所得编辑器,和这些文本编辑器不是一个物种。

  • 我觉得也是,我曾经导入过十万多字的文档,没有问题,但那是有空行的

  • 这个测试没有意义

  • 粘贴的内容会直接被渲染, 不会触发动态加载, 因此会阻塞渲染进程

    解决方案就是使用导入替代直接粘贴

  • 作死导入测试一下会不会把我的向量索引整挂掉,目前正在导入,派蒙情绪还算稳定(地没有反应)

  • 正常(就笔记软件而言)来说应该不会有单块达到这么大量或者一次导入上百万块,不过我上次导入百万篇维基百科也是需要花六个小时,编辑体验就不谈了,只能说可以在卡顿的间隙输入。。。。

    不过 obsidian 在导入之后直接给弄黑屏了。。。。。。

    所以笔记软件可能 hold 住这样的量还是有点南

  • @shuoying 话说这里四不四可以判断一下剪贴板的数据量?太大了就提醒一下?

请输入回帖内容 ...

推荐标签 标签

  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖 • 2 关注
  • PostgreSQL

    PostgreSQL 是一款功能强大的企业级数据库系统,在 BSD 开源许可证下发布。

    21 引用 • 22 回帖 • 1 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    309 引用 • 546 回帖 • 174 关注
  • CodeMirror
    1 引用 • 2 回帖 • 78 关注
  • 安装

    你若安好,便是晴天。

    123 引用 • 1181 回帖 • 1 关注
  • 知乎

    知乎是网络问答社区,连接各行各业的用户。用户分享着彼此的知识、经验和见解,为中文互联网源源不断地提供多种多样的信息。

    10 引用 • 66 回帖
  • DevOps

    DevOps(Development 和 Operations 的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。

    32 引用 • 24 回帖
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言,应用广泛。C++ 支持多种编程范式,面向对象编程、泛型编程和过程化编程。

    105 引用 • 152 回帖 • 44 关注
  • NetBeans

    NetBeans 是一个始于 1997 年的 Xelfi 计划,本身是捷克布拉格查理大学的数学及物理学院的学生计划。此计划延伸而成立了一家公司进而发展这个商用版本的 NetBeans IDE,直到 1999 年 Sun 买下此公司。Sun 于次年(2000 年)六月将 NetBeans IDE 开源,直到现在 NetBeans 的社群依然持续增长。

    78 引用 • 102 回帖 • 601 关注
  • React

    React 是 Facebook 开源的一个用于构建 UI 的 JavaScript 库。

    192 引用 • 290 回帖 • 471 关注
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目,是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台,为开发者提供便利的 API 接口来调用服务,让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 386 关注
  • CentOS

    CentOS(Community Enterprise Operating System)是 Linux 发行版之一,它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖 • 79 关注
  • Hprose

    Hprose 是一款先进的轻量级、跨语言、跨平台、无侵入式、高性能动态远程对象调用引擎库。它不仅简单易用,而且功能强大。你无需专门学习,只需看上几眼,就能用它轻松构建分布式应用系统。

    9 引用 • 17 回帖 • 551 关注
  • Love2D

    Love2D 是一个开源的, 跨平台的 2D 游戏引擎。使用纯 Lua 脚本来进行游戏开发。目前支持的平台有 Windows, Mac OS X, Linux, Android 和 iOS。

    14 引用 • 53 回帖 • 481 关注
  • Pipe

    Pipe 是一款小而美的开源博客平台。Pipe 有着非常活跃的社区,可将文章作为帖子推送到社区,来自社区的回帖将作为博客评论进行联动(具体细节请浏览 B3log 构思 - 分布式社区网络)。

    这是一种全新的网络社区体验,让热爱记录和分享的你不再感到孤单!

    131 引用 • 1112 回帖 • 190 关注
  • 机器学习

    机器学习(Machine Learning)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

    76 引用 • 37 回帖
  • 职场

    找到自己的位置,萌新烦恼少。

    124 引用 • 1697 回帖
  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    50 引用 • 225 回帖
  • GAE

    Google App Engine(GAE)是 Google 管理的数据中心中用于 WEB 应用程序的开发和托管的平台。2008 年 4 月 发布第一个测试版本。目前支持 Python、Java 和 Go 开发部署。全球已有数十万的开发者在其上开发了众多的应用。

    14 引用 • 42 回帖 • 652 关注
  • 酷鸟浏览器

    安全 · 稳定 · 快速
    为跨境从业人员提供专业的跨境浏览器

    3 引用 • 59 回帖 • 12 关注
  • CSS

    CSS(Cascading Style Sheet)“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    175 引用 • 439 回帖 • 2 关注
  • 以太坊

    以太坊(Ethereum)并不是一个机构,而是一款能够在区块链上实现智能合约、开源的底层系统。以太坊是一个平台和一种编程语言 Solidity,使开发人员能够建立和发布下一代去中心化应用。 以太坊可以用来编程、分散、担保和交易任何事物:投票、域名、金融交易所、众筹、公司管理、合同和知识产权等等。

    34 引用 • 367 回帖 • 8 关注
  • PWA

    PWA(Progressive Web App)是 Google 在 2015 年提出、2016 年 6 月开始推广的项目。它结合了一系列现代 Web 技术,在网页应用中实现和原生应用相近的用户体验。

    14 引用 • 69 回帖 • 93 关注
  • 爬虫

    网络爬虫(Spider、Crawler),是一种按照一定的规则,自动地抓取万维网信息的程序。

    106 引用 • 275 回帖
  • H2

    H2 是一个开源的嵌入式数据库引擎,采用 Java 语言编写,不受平台的限制,同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式,可以兼容一些主流的数据库,因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 606 关注
  • JavaScript

    JavaScript 一种动态类型、弱类型、基于原型的直译式脚本语言,内置支持类型。它的解释器被称为 JavaScript 引擎,为浏览器的一部分,广泛用于客户端的脚本语言,最早是在 HTML 网页上使用,用来给 HTML 网页增加动态功能。

    710 引用 • 1170 回帖 • 310 关注
  • 创业

    你比 99% 的人都优秀么?

    82 引用 • 1395 回帖