登录 注册

内存数据库FastDB和SQLite性能测评

本贴最后更新于 4252 天前，其中的信息可能已经水流花落

一、引言

在很多项目中，经常会碰到这样的需求，需要对大量数据进行快速存储、查询、删除等操作，特别是在一些针对诸如运营商、银行等大型企业的应用中，这些 需求尤为常见。比如智能网中的大量在线并发用户的数据管理、软交换平台中的在线信息交互、宽带/3G等数据网中在线用户行为记录等等。

针对这些情形，我们通常需要选择高性能的数据库产品，而且通常需要使用内存数据库，顾名思义，内存数据库指的是所有的数据访问控制都在内存中进行， 这是与磁盘数据库相对而言的，磁盘数据库虽然也有一定的缓存机制，但都不能避免从外设到内存的交换，而这种交换过程对性能的损耗是致命的，目前主流数据库 如SYBASE、ORACLE等都有这种缓存机制，如将特定表绑定一定的缓存，从而在一定程度上改善数据吞吐性能。而内存数据库几乎可以完全避免这种内外 存数据交换的发生，特别是在物理内存足够大的设备上尤其如此，通常这种数据库也被称为主存数据库(Main Memory DataBase, MMDB)。

二、主存数据库比较

目前比较知名的商业内存数据库有，ORACLE的TimesTen，MCObject的eXtremeDB、韩国的Altibase等，这些数据库 产品性能都非常的强劲，当然价格也相当的强劲，在非特大型系统建设时，通常让人望而却步。于是退而求其次，免费开源内存数据库给了我们第二种选择。 Berkeley DB，SQLite，MonetDB，FastDB，H2等，不一而足。本文主要针对SQLite和FastDB进行性能测评。

2.1 测试准备

首先，笔者通过对评测数据的调研发现，通常认为，BDB性能不如SQLite，参考"免费的实时数据库，我们该选谁？---BerkeleyDB与SQLite评测对比 "。

上文中还提到，"据说FastDB很快，但数据库大小不能大于物理内存..."，于是笔者对FastDB产生了兴趣，从FastDB作者的网站看到关于 这点的介绍，并不是说数据库大小不能大于物理内存，而是说数据库大小超过物理内存时，性能与不超过时相比会有一定的降低(降低幅度未作说明，估计是不推荐 使用)。幸运地是，目前物理内存实在说不上贵，服务器内存在10G之上都是很正常的事情了。因此可以根据具体项目数据量需求来确定是否能使用 FastDB，比如并不是所有的表都需要放在内存中。下面即将描述的测试表明，一旦使用FastDB，其性能在免费MMDB产品中绝对可执牛耳。由于已经 有人对BDB和SQLite进行过比较，因此下面仅将FastDB与其中的优胜者SQLite进行性能测评。SQLite采用内存模式，即打开数据库使使 用":memory:"参数，此时SQLite不产生数据库文件，所有操作都在内存中，这一点需要特殊说明，与之不同的是，FastDB有两种模式，磁盘 模式和无盘模式，前者会产生磁盘文件，后者则与SQLite的内存模式相同。

说是测评，其实过程也很简单，无非是设计测试CASE，编写测试CODE，输出测试RESULT，最后做出结论。通常我们认为带索引的插入耗时相对 于查询和删除来说比较长，因此首先来看插入性能。采用一个简单的表来完成接下来的所有测试，表中仅包含两个字段，INTEGER intKey，和VARCHAR strKey。测试平台为Window7 32bit系统(Evaluation Copy 7127)，编译器VC6 SP6。在DELL INSPIRON 640m上运行，CPU为Intel Core 2 CPU T5500 @ 1.66GHZ，内存2.5G。

对FastDB（采用磁盘模式），表结构的定义如下：

class _TestTable 
{ 
public: 
    db_int8 intKey; 
    char const* strKey; 
    TYPE_DESCRIPTOR((KEY(intKey, INDEXED), KEY(strKey, INDEXED))); 
};

REGISTER(_TestTable);

对SQLite，建表SQL如下：

CREATE TABLE [_TestTable] ( [intKey] INTEGER  NOT NULL PRIMARY KEY, [strKey] VARCHAR(50)  NULL)

2.2 不同事务模式下的插入性能比较

2.2.1 FastDB磁盘模式

我们首先按照批量事务处理的模式将intKey从1到nRecords(记录条数)，并指定相应的strKey，分别调用相应的接口(均为原始 API)插入到两张表中，这里的批量事务处理模式指的是，比如插入10000条记录，插第一条之前开始事务，最后一条之后结束事务。此时在插入不同数目记 录时的表现分别如下(一万条、十万条、72万条、一百万条)：

批量事务提交：

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 10000 record: 63 ms 
[SQLITE] Elapsed time for inserting 10000 record: 639 ms

E:\intrest\FastDB\PerfTest\Debug>del *.fdb (清除测试生成数据，重新测试，下同。)

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 100000 record: 1186 ms 
[SQLITE] Elapsed time for inserting 100000 record: 6318 ms

E:\intrest\FastDB\PerfTest\Debug>del *.fdb

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 7200000 record: 152460 ms 
[SQLITE] Elapsed time for inserting 7200000 record: 560121 ms

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 1000000 record: 15522 ms 
[SQLITE] Elapsed time for inserting 1000000 record: 67423 ms

从上我们可以看出，在批量事务模式下，FastDB比SQLite的插入性能提高了3-10倍。但是在很多情况下，我们可能会需要逐条逐条的事务提交，下面给出了逐条事务模式的测试结果：

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 10000 record: 57315 ms（这个太恐怖了，不调整的话没法使用） 
[SQLITE] Elapsed time for inserting 10000 record: 780 ms

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe （SQLITE显式分条事务） 
[FASTDB] Elapsed time for inserting 10000 record: 59967 ms 
[SQLITE] Elapsed time for inserting 10000 record: 1154 ms

从上我们可以看出，FastDB在这种情形下的性能急遽降低，降到一个几乎不能接收的水平。经过对FastDB的源代码分析(开源的好处体现出来 了)，发现FastDB在每次事务提交时，都会将变更的数据内容同步到磁盘文件中（这是因为我们采用了磁盘模式），因此造成性能的显著降低。

直观上看，解决FastDB的这个问题有两种办法，一是避免每次事务提交时同步到磁盘，因为在这种应用中，这种同步操作并不需要实时进行，通常每隔 一段时间同步一次就可以了(比如1S、1Min、等根据具体项目的可靠性需要)；二是使用前面提到的FastDB无盘(DISKLESS)模式。

我们首先来看第一种方案，通过SEARCH FastDB文档(文档和社区是FastDB的一个软肋)，我们发现作者已经考虑到了这个问题，FastDB为数据库提供了precommit的接口，用 于完成除sync到磁盘文件外的所有事物操作，如释放mutex资源等。同时提供了backup接口，用来完成内存数据到磁盘文件的备份，甚至支持打开数 据库时同时指定定时备份到磁盘文件的间隔。这样一来，每次事务提交的效率理论上会得到大大提高，并且通过定时备份机制可以保证数据的可靠性。我们来看使用 precommit进行逐条事务提交时FastDB的表现：

E:\intrest\FastDB\PerfTest\Debug>PerfTest（使用precommit逐条提交事务） 
[FASTDB] Elapsed time for inserting 10000 record: 62 ms 
[SQLITE] Elapsed time for inserting 10000 record: 1170 ms

E:\intrest\FastDB\PerfTest\Debug>PerfTest 
[FASTDB] Elapsed time for inserting 100000 record: 1170 ms 
[SQLITE] Elapsed time for inserting 100000 record: 11747 ms

E:\intrest\FastDB\PerfTest\Debug>PerfTest 
[FASTDB] Elapsed time for inserting 1000000 record: 8081 ms 
[SQLITE] Elapsed time for inserting 1000000 record: 125768 ms

从上可以看出，在逐条事务模式下，通过使用precommit技术，FastDB性能比SQLite提高了10倍左右。当然也许有读者怀疑加了备份 机制之后的性能，确实笔者没有进行这项测试，但是，需要注意的是，FastDB在数据库关闭时会强制sync到磁盘文件，但SQLite没有这种功能，同 时，在进行这项测试时，两种数据库都没有定时备份机制，因此该比较是公平的。

2.2.2 FastDB无盘模式

再来看第二种方案，FastDB采用无盘(通过编译选项控制生成DISKLESS版本)模式，此时FastDB初始化一段共享内存(shmat or mmap)，这个初始大小通常很大，并且运行期不能扩展（无盘模式的劣势）。我们将初始共享内存设置为1G，得到的测试结果如下：

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 100000 record: 624 ms (批量事务提交) 
[SQLITE] Elapsed time for inserting 100000 record: 11544 ms

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 100000 record: 7410 ms (逐条事务提交) 
[SQLITE] Elapsed time for inserting 100000 record: 11560 ms

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 1000000 record: 134660 ms 
[SQLITE] Elapsed time for inserting 1000000 record: 120167 ms

E:\intrest\FastDB\PerfTest\Debug>PerfTest.exe 
[FASTDB] Elapsed time for inserting 250000 record: 23666 ms 
[SQLITE] Elapsed time for inserting 250000 record: 29110 ms

从上我们可以看出，无盘模式在大数据量下的表现与SQLite相近，这一点不是很好理解，需要研究DISKLESS的设计模式，理论上应该与 precommit模式性能相近。但是实践是检验真理的唯一标准。我们可以看出，磁盘模式的precommit方式性能表现卓越，不管从横向还是纵向来 看。

2.3 查询性能比较

下面的比较都使用磁盘模式的precommit方式，再来看索引查询的性能表现，测试时都是先插入十万条数据后，再分别对该十万条数据进行查询，需 要注意的是我们同时对FastDB是否增加HASH索引的性能进行了横向测评，FastDB增加HASH索引很简单，通过修改TYPE- DESCRIPTOR来完成，上面的class中改为TYPE_DESCRIPTOR((KEY(intKey, INDEXED), KEY(strKey, INDEXED)));即为intKey增加了Hash索引。

E:\intrest\FastDB\PerfTest\Debug>perftest (FASTDB哈希索引) 
[FASTDB] Elapsed time for inserting 100000 record: 624 ms 
[FASTDB] Elapsed time for 100000 index searches: 328 ms 
[SQLITE] Elapsed time for inserting 100000 record: 10312 ms 
[SQLITE] Elapsed time for 100000 index searches: 10935 ms

E:\intrest\FastDB\PerfTest\Debug>perftest(FASTDB非哈希索引) 
[FASTDB] Elapsed time for inserting 100000 record: 577 ms 
[FASTDB] Elapsed time for 100000 index searches: 515 ms 
[SQLITE] Elapsed time for inserting 100000 record: 10343 ms 
[SQLITE] Elapsed time for 100000 index searches: 9532 ms

从测试结果可以看出，查询十万条索引记录的效率，FastDB要比SQLite快20倍左右，并且在增加HASH索引后能够得到进一步的改善。

2.4 删除性能比较及综合表现

最后，我们在测试删除效率时，同时综合来看FastDB与SQLite之间插入、查询、删除的性能表现：

插入、查询、删除综合比较：

E:\intrest\FastDB\PerfTest\Debug>perftest（批量删除，FASTDB.removeall()，SQLITE.delete*） 
[FASTDB] Elapsed time for inserting 100000 record: 608 ms 
[FASTDB] Elapsed time for 100000 index searches: 687 ms 
[FASTDB] Elapsed time for deleting all 100000 records: 16 ms 
[SQLITE] Elapsed time for inserting 100000 record: 11107 ms 
[SQLITE] Elapsed time for 100000 index searches: 10062 ms 
[SQLITE] Elapsed time for deleting all 100000 records: 16 ms

E:\intrest\FastDB\PerfTest\Debug>perftest（逐条删除） 
[FASTDB] Elapsed time for inserting 100000 record: 593 ms 
[FASTDB] Elapsed time for 100000 index searches: 562 ms 
[FASTDB] Elapsed time for deleting all 100000 records one by one: 905 ms 
[SQLITE] Elapsed time for inserting 100000 record: 10406 ms 
[SQLITE] Elapsed time for 100000 index searches: 10249 ms 
[SQLITE] Elapsed time for deleting all 100000 records one by one: 8923 ms

从上可以看出，就删除效率而言，批量删除的速度二者相近，而逐条删除时，十万条记录的删除累积，FastDB比SQLite快了10倍左右。

 

2.5 总结

优点：FastDB磁盘模式下，采用precommit方式，性能远远优于SQLite，并且FastDB提供了完善的备份恢复机制，能够保证数据 安全。FastDB的无盘模式在小数据量时表现优越，并且不会产生磁盘数据文件，也不能加载已经保存的数据库文件，看起来更像是针对嵌入式设备(如智能手 机、PDA等)开发的，对于这种场景可以考虑使用无盘模式。

缺点：FastDB目前能够SEARCH到的比较著名的应用是PingTel公司的开源统一通信产品SIPX，该产品采用的是FastDB的磁盘模 式。这可能多少与FastDB的完全授权模式有关，而SQLite采用的是GPL的不允许闭源的商业发布。当然主要还是社区的不成熟，这从Google Trends的搜索结果也能看出。社区的不成熟会带来学习成本的增加，这一点在选型时也需要考虑。

  • FastDB
    1 引用
  • SQLite

    SQLite 是一个进程内的库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。SQLite 是全世界使用最为广泛的数据库引擎。

    5 引用 • 7 回帖
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    345 引用 • 742 回帖
1 赞同
3.5k 35 760 342 288 163 18 131 1.8k

相关帖子

回帖
内存数据库FastDB和SQLite性能测评

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
jetlan
回帖
5
 帖子
16
 积分
2080

近期热议

推荐标签 标签

  • Typecho

    Typecho 是一款博客程序，它在 GPLv2 许可证下发行，基于 PHP 构建，可以运行在各种平台上，支持多种数据库（MySQL、PostgreSQL、SQLite）。

    12 引用 • 67 回帖 • 445 关注
  • Android

    Android 是一种以 Linux 为基础的开放源码操作系统，主要使用于便携设备。2005 年由 Google 收购注资，并拉拢多家制造商组成开放手机联盟开发改良，逐渐扩展到到平板电脑及其他领域上。

    335 引用 • 324 回帖
  • 深度学习

    深度学习（Deep Learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    53 引用 • 40 回帖
  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用，同时也支持端到端加密同步。

    融合块、大纲和双向链接，重构你的思维。

    24879 引用 • 102381 回帖
  • Lute

    Lute 是一款结构化的 Markdown 引擎，支持 Go 和 JavaScript。

    28 引用 • 197 回帖 • 28 关注
  • Swagger

    Swagger 是一款非常流行的 API 开发工具，它遵循 OpenAPI Specification（这是一种通用的、和编程语言无关的 API 描述规范）。Swagger 贯穿整个 API 生命周期，如 API 的设计、编写文档、测试和部署。

    26 引用 • 35 回帖 • 3 关注
  • ngrok

    ngrok 是一个反向代理，通过在公共的端点和本地运行的 Web 服务器之间建立一个安全的通道。

    7 引用 • 63 回帖 • 646 关注
  • 学习

    “梦想从学习开始，事业从实践起步” —— 习近平

    172 引用 • 516 回帖
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台，它支持多种框架、语言、运行时环境、云平台及应用服务，使开发人员能够在几秒钟内进行应用程序的部署和扩展，无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 176 关注
  • 小薇

    小薇是一个用 Java 写的 QQ 聊天机器人 Web 服务，可以用于社群互动。

    由于 Smart QQ 从 2019 年 1 月 1 日起停止服务，所以该项目也已经停止维护了！

    34 引用 • 467 回帖 • 758 关注
  • 负能量

    上帝为你关上了一扇门，然后就去睡觉了....努力不一定能成功，但不努力一定很轻松 (° ー °〃)

    89 引用 • 1239 回帖 • 415 关注
  • Gitea

    Gitea 是一个开源社区驱动的轻量级代码托管解决方案，后端采用 Go 编写，采用 MIT 许可证。

    5 引用 • 16 回帖 • 1 关注
  • 友情链接

    确认过眼神后的灵魂连接，站在链在！

    24 引用 • 373 回帖 • 1 关注
  • 禅道

    禅道是一款国产的开源项目管理软件，她的核心管理思想基于敏捷方法 scrum，内置了产品管理和项目管理，同时又根据国内研发现状补充了测试管理、计划管理、发布管理、文档管理、事务管理等功能，在一个软件中就可以将软件研发中的需求、任务、bug、用例、计划、发布等要素有序的跟踪管理起来，完整地覆盖了项目管理的核心流程。

    6 引用 • 15 回帖 • 33 关注
  • CentOS

    CentOS（Community Enterprise Operating System）是 Linux 发行版之一，它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    239 引用 • 224 回帖 • 1 关注
  • RabbitMQ

    RabbitMQ 是一个开源的 AMQP 实现，服务器端用 Erlang 语言编写，支持多种语言客户端，如：Python、Ruby、.NET、Java、C、PHP、ActionScript 等。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

    49 引用 • 60 回帖 • 347 关注
  • Solidity

    Solidity 是一种智能合约高级语言，运行在 [以太坊] 虚拟机（EVM）之上。它的语法接近于 JavaScript，是一种面向对象的语言。

    3 引用 • 18 回帖 • 432 关注
  • 链书

    链书（Chainbook）是 B3log 开源社区提供的区块链纸质书交易平台，通过 B3T 实现共享激励与价值链。可将你的闲置书籍上架到链书，我们共同构建这个全新的交易平台，让闲置书籍继续发挥它的价值。

    链书社

    链书目前已经下线，也许以后还有计划重制上线。

    14 引用 • 257 回帖 • 3 关注
  • Follow
    4 引用 • 12 回帖 • 9 关注
  • 浅吟主题

    Jeffrey Chen 制作的思源笔记主题，项目仓库：https://github.com/TCOTC/Whisper

    1 引用 • 28 回帖 • 2 关注
  • 开源中国

    开源中国是目前中国最大的开源技术社区。传播开源的理念，推广开源项目，为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。

    7 引用 • 86 回帖
  • 锤子科技

    锤子科技（Smartisan）成立于 2012 年 5 月，是一家制造移动互联网终端设备的公司，公司的使命是用完美主义的工匠精神，打造用户体验一流的数码消费类产品（智能手机为主），改善人们的生活质量。

    4 引用 • 31 回帖 • 3 关注
  • Chrome

    Chrome 又称 Google 浏览器，是一个由谷歌公司开发的网页浏览器。该浏览器是基于其他开源软件所编写，包括 WebKit，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。

    62 引用 • 289 回帖
  • Kotlin

    Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言，由 JetBrains 设计开发并开源。Kotlin 可以编译成 Java 字节码，也可以编译成 JavaScript，方便在没有 JVM 的设备上运行。在 Google I/O 2017 中，Google 宣布 Kotlin 成为 Android 官方开发语言。

    19 引用 • 33 回帖 • 77 关注
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台， 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动， 非阻塞 I/O 模型而得以轻量和高效。

    139 引用 • 269 回帖 • 1 关注
  • uTools

    uTools 是一个极简、插件化、跨平台的现代桌面软件。通过自由选配丰富的插件，打造你得心应手的工具集合。

    7 引用 • 27 回帖 • 1 关注
  • ReactiveX

    ReactiveX 是一个专注于异步编程与控制可观察数据（或者事件）流的 API。它组合了观察者模式，迭代器模式和函数式编程的优秀思想。

    1 引用 • 2 回帖 • 176 关注

最新标签