登录 注册

Redis 笔记

本贴最后更新于 3170 天前，其中的信息可能已经事过景迁

数据结构

  • SortedSet zunionstore 方法可以对一个或者多个有序集合(sortedset)进行并集计算，如果目标集合是set，而不是sorted set，也可以进行合并
  • SortedSet zunionstore 方法，当目标存储集合已经存在时，会进行值的覆盖
  • Hash
    • 这种结构，其内容实现其实是一个HashMap，即key对应一个字符串，而value是使用HashMap实现的。如图

hashredis

    • 只需要通过key+field既可以获取到value值。redis是单线程模型，如果map中的数据过大，遍历需要很长时间的话，就会阻塞客户端其他对redis的操作，这点需要注意。
    • 另外，当hash成员数量较少时，其内部实现是使用类似一维数组的方式(ziplist)来紧凑存储，以节约内存空间，而当成员数量较大时，才会使用hashmap的方式存储。
  • key
    • 必须是一个字符串类型，不能包含边界字符，比如包括空格和换行\n等是被认为非法的，也不能包括redis协议中认定的特殊字符，如\r\n
    • 推荐key的写法是object-type:id:field，同时key不能太长，明显占内存
  • List 内部实现是使用一个双向链表，方便正向和反向进行查找
  • Set
    • 内部实现也是一个HashMap，只是HashMap的value值永远为null
    • set是不会有重复元素的，就是根据计算value的hash值进行快速排重
    • set是无序的，不过可以通过sort命令进行二次排序，而且可以参照第三方的进行排序
  • SortedSet
    • 内部使用HashMap和SkipList实现，skiplist用来存储value，其特点是查找快，节约存储空间。HashMap中存储的是value和score的映射关系
    • 自动排序，即放入其中后，根据score值自动排序，当你需要一个有序且不重复的集合的时候考虑使用sortedset

性能

  • SortedSet 性能取决于其中存储的元素个数

性能

持久化

  • 定时快照方式(snapshot)
    • 内部使用一个定时器，定期检查数据发生的改变次数和时间是否满足配置的持久化触发条件，如果满足就由操作系统fork一个子进程来执行持久化操作，即子进程就可以遍历整个内存空间进行存储，而此时父进程仍然提供正常的服务
    • 该方案的缺点是，存储的定时快照只是一段时间内的内存映像，重启后，上次快照存储后到重启这段时间内的内存数据会丢失
    • 每次做快照方式存储数据时，都会将整个内存数据重新保存一次，而不是增量存储
  • 基于语句追加文件的方式(aof)
    • 即append of file 方式，将每次使redis数据发生变化的语句都会被追加到一个log文件中，这个log文件即是持久化的数据
    • 缺点是数据量大的时侯，log文件体积过大，从而重启时，加载数据进入内存会非常缓慢，几十G的数据需要几个小时，因为每个命令都要执行一遍，另外，每个命令都要写log，redis读写性能也会下降
  • 虚拟内存(vm) — 放弃
  • disk store  — 实践中
  • 在持久化方案中，磁盘IO带来的问题
    • 当使用的物理内存将要达到上限时，会发生redis崩溃的现象，这种情况原因是在读写持久化文件时会将该文件加载到内存中，从而内存中就会有2份重复的数据，导致操作系统让你的进程进行swap操作，此时开始不稳定甚至崩溃(现在已经有maxmemory-policy选项了)
    • 经验是 redis使用的物理内存达到内存总容量的3/5时就比较危险了

事务

  • 提供事务支持，可以保证一串命令操作的原子性，中间不会被其他命令打断，其实质是开启事务后(multi)，所有操作命令会放在一个队列中，然后一起执行，保证执行过程中不会被其他命令打断
  • 当这一串命令中某个命令发生错误时，事务终止，同时已经执行的命令不能进行回滚
  • watch命令可以监视某个key，在调用watch命令后到exec执行，这段时间内如果这个key的值发生了变化，那么整个事务就会失败(乐观锁)
  • 在事务中，2个操作存在依赖关系，就要注意了，不能让一个写操作依赖一个读操作，因为事务中的操作并没有立即执行，在事务将操作命令加入队列过程中，有可能其他的客户端会操作这个key，也就是这个key并没有做任何的同步，所以我们需要使用watch来监视此key
  • 关于事务的应用请参考这篇文章

适用场景

  • 朋友最近活动
  • leader board 排行榜功能，在线游戏时，可以随时获取新的排行数据，通过ZRANG
  • 猜测可能认识的人，结合使用ZRANK和ZRANGE方法，可以查出与指定对象相似的对象出来
  • 关注数与被关注数
  • 计数：最近用户在页面间停顿时间不超过60秒的页面浏览量
  • 作为索引数据存储的结构，score存储为数值，value为对象id，使用ZRANGEBYSCORE检索一个确切的范围

用作缓存

  • 2种方式可以把redis当做缓存来使用
    • 给每个键设置一个固定的过期时间，但是这样内存也需要额外的空间来存储这些过期时间
    • 通过设置内存使用上限和指定内存策略算法
maxmemory 2mb
maxmemory-policy allkeys-lru
  • 相比使用额外内存空间存储多个键的过期时间，使用缓存设置是一种更加有效利用内存的方式。而且相比每个键固定的 过期时间，使用LRU也是一种更加推荐的方式，因为这样能使应用的热数据(更频繁使用的键) 在内存中停留时间更久。
  • 基本上这么配置下的Redis可以当成memcached使用。当我们把Redis当成缓存来使用的时候，如果应用程序同时也需要把Redis当成存储系统来使用，那么强烈建议 使用两个Redis实例。一个是缓存，使用上述方法进行配置，另一个是存储，根据应用的持久化需求进行配置，并且 只存储那些不需要被缓存的数据。 

Master Slave复制

  • 一个master可以有多个slave，而一个slave也可以连接其他的slave，形成图状结构
  • master在与slave进行通信时，是可以继续处理客户端请求的；而slave在与master进行通信时，就会阻塞客户端的请求
  • 主从复制的场景，用于提高系统的伸缩性，即让slave负责读取操作，master负责写操作；或者也可以仅仅让slave作为冗余存储
  • 主从复制主要是分为2个步骤，第一个是同步数据，从master中把snapshot发送给slave，第二个是命令传播，master中的写操作都会传递给slave
  • 没有增量复制功能，只是用snapshot重建slave内存结构，新浪微薄版本的redis已经实现了增量复制功能
  • 每次slave重连master，master都会把shapshot重新发送给slave，重建内存数据结构(使用2.8版本+以上的psync命令，可以实现增量复制)
  • 可以通过主动复制来避免redis自身主从复制的缺点，既从客户端对存储的数据进行双写或者多写，数据的多份复制机制，可以避免单点失效故障
  • 这种主动复制功能的缺陷就是如何保证多个节点数据的一致性？需要引入一致性算法，但是这样也会降低写性能
  • 如果有多个slave发来同步命令，master后台只会启动一个进程来写snapshot，然后发送给所有的slave
  • 关于主从复制实现的详细步骤，可以参考黄健宏的视频和ppt
  • master最好不要写snapshot，数据量大时会阻塞主线程运行

可扩展集群

  • 100g的业务数据量，假设服务器内存是50g，那么根据磁盘io问题考虑，需要3-4台服务器存储
  • 当数据量达到这个级别时就需要考虑动态在线扩容的问题了
  • 拆分过程（presharding方案）
    • 在新机器上启动好对应端口的Redis实例
    • 配置新端口为待迁移端口的从库
    • 待复制完成，与主库完成同步后，切换所有客户端配置到新的从库的端口
    • 配置从库为新的主库
    • 移除老的端口实例
    • 重复上述过程迁移好所有的端口到指定服务器上

使用总结

  • 根据业务需要选择合适的数据结构，为不同的使用场景设定不同的紧凑型存储参数
  • 当业务场景不需要进行数据持久化时，关闭所有的持久化参数，以获得最大的性能和内存使用量
  • 需要使用持久化时，根据业务特性，是否容忍数据丢失，从而选择aof或者snapshot方式中的一种，不要使用vm和diskstore
  • 不要使得redis实际内存使用量达到最大物理内存的3/5
  • 基于实际项目的一些建议
  • 持久化方案首选AOF方式

改进思路

  • 可以做到按照AOF文件大小自动分割滚动
  • 实际项目可以采取与Mysql结合的方式，即mysql作为主库，Redis作为高速查询从库的异构读写分离的方案

redismysql

客户端、二次开发相关

  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。从 2010 年 3 月 15 日起，Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始，Redis 的开发由 Pivotal 赞助。

    286 引用 • 248 回帖 • 1 关注
  • slave
    2 引用 • 2 回帖
  • 持久化
    3 引用 • 8 回帖
2 回帖
1.0k 7 104 261 303 67 65 222

相关帖子

2 回帖
Redis 笔记

欢迎来到这里！

我们正在构建一个小众社区，大家在这里相互信任，以平等 • 自由 • 奔放的价值观进行分享交流。最终，希望大家能够找到与自己志同道合的伙伴，共同成长。

注册 关于
请输入回帖内容 ...
changming
回帖
6
 帖子
39
 积分
2155

近期热议

推荐标签 标签

  • 知乎

    知乎是网络问答社区，连接各行各业的用户。用户分享着彼此的知识、经验和见解，为中文互联网源源不断地提供多种多样的信息。

    10 引用 • 66 回帖
  • Sandbox

    如果帖子标签含有 Sandbox ，则该帖子会被视为“测试帖”，主要用于测试社区功能，排查 bug 等，该标签下内容不定期进行清理。

    431 引用 • 1250 回帖 • 596 关注
  • 百度

    百度（Nasdaq：BIDU）是全球最大的中文搜索引擎、最大的中文网站。2000 年 1 月由李彦宏创立于北京中关村，致力于向人们提供“简单，可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”，象征着百度对中文信息检索技术的执著追求。

    63 引用 • 785 回帖 • 100 关注
  • Firefox

    Mozilla Firefox 中文俗称“火狐”（正式缩写为 Fx 或 fx，非正式缩写为 FF），是一个开源的网页浏览器，使用 Gecko 排版引擎，支持多种操作系统，如 Windows、OSX 及 Linux 等。

    7 引用 • 30 回帖 • 391 关注
  • MongoDB

    MongoDB（来自于英文单词“Humongous”，中文含义为“庞大”）是一个基于分布式文件存储的数据库，由 C++ 语言编写。旨在为应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似 JSON 的 BSON 格式，因此可以存储比较复杂的数据类型。

    90 引用 • 59 回帖 • 5 关注
  • OpenCV
    15 引用 • 36 回帖 • 2 关注
  • Markdown

    Markdown 是一种轻量级标记语言，用户可使用纯文本编辑器来排版文档，最终通过 Markdown 引擎将文档转换为所需格式（比如 HTML、PDF 等）。

    170 引用 • 1529 回帖
  • 设计模式

    设计模式（Design pattern）代表了最佳的实践，通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。

    200 引用 • 120 回帖 • 3 关注
  • NGINX

    NGINX 是一个高性能的 HTTP 和反向代理服务器，也是一个 IMAP/POP3/SMTP 代理服务器。 NGINX 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本 0.1.0 发布于 2004 年 10 月 4 日。

    315 引用 • 547 回帖 • 1 关注
  • 强迫症

    强迫症（OCD）属于焦虑障碍的一种类型，是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病，其特点为有意识的强迫和反强迫并存，一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖
  • Ngui

    Ngui 是一个 GUI 的排版显示引擎和跨平台的 GUI 应用程序开发框架，基于
    Node.js / OpenGL。目标是在此基础上开发 GUI 应用程序可拥有开发 WEB 应用般简单与速度同时兼顾 Native 应用程序的性能与体验。

    7 引用 • 9 回帖 • 400 关注
  • C++

    C++ 是在 C 语言的基础上开发的一种通用编程语言，应用广泛。C++ 支持多种编程范式，面向对象编程、泛型编程和过程化编程。

    107 引用 • 153 回帖 • 3 关注
  • TensorFlow

    TensorFlow 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。

    20 引用 • 19 回帖 • 2 关注
  • 链滴

    链滴是一个记录生活的地方。

    记录生活，连接点滴

    173 引用 • 3849 回帖
  • Spring

    Spring 是一个开源框架，是于 2003 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson 在其著作《Expert One-On-One J2EE Development and Design》中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许使用者选择使用哪一个组件，同时为 JavaEE 应用程序开发提供集成的框架。

    948 引用 • 1460 回帖
  • 博客

    记录并分享人生的经历。

    273 引用 • 2388 回帖
  • 音乐

    你听到信仰的声音了么？

    62 引用 • 512 回帖
  • V2EX

    V2EX 是创意工作者们的社区。这里目前汇聚了超过 400,000 名主要来自互联网行业、游戏行业和媒体行业的创意工作者。V2EX 希望能够成为创意工作者们的生活和事业的一部分。

    16 引用 • 236 回帖 • 266 关注
  • 持续集成

    持续集成（Continuous Integration）是一种软件开发实践，即团队开发成员经常集成他们的工作，通过每个成员每天至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误。

    15 引用 • 7 回帖
  • Hprose

    Hprose 是一款先进的轻量级、跨语言、跨平台、无侵入式、高性能动态远程对象调用引擎库。它不仅简单易用，而且功能强大。你无需专门学习，只需看上几眼，就能用它轻松构建分布式应用系统。

    9 引用 • 17 回帖 • 630 关注
  • IDEA

    IDEA 全称 IntelliJ IDEA，是一款 Java 语言开发的集成环境，在业界被公认为最好的 Java 开发工具之一。IDEA 是 JetBrains 公司的产品，这家公司总部位于捷克共和国的首都布拉格，开发人员以严谨著称的东欧程序员为主。

    181 引用 • 400 回帖
  • Ubuntu

    Ubuntu（友帮拓、优般图、乌班图）是一个以桌面应用为主的 Linux 操作系统，其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观，类似华人社会的“仁爱”思想。Ubuntu 的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。

    127 引用 • 169 回帖
  • SQLServer

    SQL Server 是由 [微软] 开发和推广的关系数据库管理系统（DBMS），它最初是由 微软、Sybase 和 Ashton-Tate 三家公司共同开发的，并于 1988 年推出了第一个 OS/2 版本。

    21 引用 • 31 回帖
  • Outlook
    1 引用 • 5 回帖
  • BookxNote

    BookxNote 是一款全新的电子书学习工具，助力您的学习与思考，让您的大脑更高效的记忆。

    笔记整理交给我，一心只读圣贤书。

    1 引用 • 1 回帖 • 2 关注
  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端，也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖 • 2 关注
  • Google

    Google（Google Inc.，NASDAQ：GOOG）是一家美国上市公司（公有股份公司），于 1998 年 9 月 7 日以私有股份公司的形式创立，设计并管理一个互联网搜索引擎。Google 公司的总部称作“Googleplex”，它位于加利福尼亚山景城。Google 目前被公认为是全球规模最大的搜索引擎，它提供了简单易用的免费服务。不作恶（Don't be evil）是谷歌公司的一项非正式的公司口号。

    49 引用 • 192 回帖

最新标签