Redis Lua 脚本中学教程(上)

本贴最后更新于 1709 天前,其中的信息可能已经时移俗易

中学教程主要分为两部分:Redis Lua 的相关命令详解和 Lua 的语法介绍。

前面我们简单介绍了 EVAL 和 EVALSHA 命令。但是只有那点只是是没办法从中学毕业的,因此我们需要进行更深入的学习。

EVAL

最早可用版本:2.6.0

用法:EVAL script numkeys key [key ...] arg [arg ...]

关于用法我们已经演示过了,其中第一个参数是要执行的 Lua 脚本,第二个参数是传入脚本的参数个数。后面则是参数的 key 数组和 value 数组。

在 Lua 中执行 Redis 命令的方法我们也介绍过,就是使用 redis.call()和 redis.pcall()两个函数。它们之间唯一的不同就是当 Redis 命令执行错误时,redis.call()会抛出这个错误,使 EVAL 命令抛出错误,而 redis.pcall()会捕获这个错误,并返回 Lua 的错误表。

通常我们约定执行命令的 key 都需要由参数传入,命令必须在执行之前进行分析,以确定它作用于哪个 key。这样做的目的是为了在一定程度上保证 EVAL 执行的 Lua 脚本的正确性。

Lua 和 Redis 之间数据类型的转换

在 Redis 执行 EVAL 命令时,如果脚本中有 call()或者 pcall()命令,就会涉及到 Redis 和 Lua 之间数据类型转换的问题。转换规则要求,一个 Redis 的返回值转换成 Lua 数据类型后,再转换成 Redis 数据类型,其结果必须和初始值相同。所以每种类型是一一对应的。转换规则如下:

Redis 与 Lua 互相转换
Redis Lua
integer number
bulk string
multi bulk table
status table with a single ok field
error table with a single err field
Nil bulk &Nil multi bulk false boolean type

除此之外,Lua 到 Redis 的转换还有一些其他的规则:

  • Lua boolean true -> Redis integer reply with value of 1

  • Lua 只有一种数字类型,不会区分整数和浮点数。而数字类型只能转换成 Redis 的 integer 类型,如果要返回浮点数,那么在 Lua 中就需要返回一个字符串。

  • Lua 数组在转换成 Redis 类型时,遇到 nil 就停止转换

来个栗子验证一下:

EVAL "return {1,2,3.3333,'foo',nil,'bar'}" 0
1) (integer) 1
2) (integer) 2
3) (integer) 3
4) "foo"

可以看到 bar 没有返回,并且 3.333 返回了 3。

脚本的原子性

Redis 运行所有的 Lua 命令都使用相同的 Lua 解释器。当一个脚本正在执行时,其他的脚本或 Redis 命令都不能执行。这很像 Redis 的事务 multi/exec。这意味着我们要尽量避免脚本的执行时间过长。

脚本整体复制

当脚本进行传播或者写入 AOF 文件时,Redis 通常会将脚本本身进行传播或写入 AOF,而不是使用它产生的若干命令。原因很简单,传播整个脚本要比传播一大堆生成的命令的速度要快。

从 Redis3.2 开始,可以只复制影响脚本执行结果的语句,而不用复制整个脚本。这个复制整个脚本的方法有以下属性:

  • 如果输入相同,脚本必须输出相同的结果。即执行结果不能依赖于隐式的变量,或依赖于 I/O 输入

  • Lua 不会导出访问系统时间或其他外部状态的命令

  • 如果先执行了“随机命令”(如 RANDOMKEY,SRANDMEMBER,TIME),并改变了数据集,接着执行脚本时会被阻塞。

  • 在 Redis4 中,Lua 脚本调用返回随机顺序的元素的命令时,会在返回之前进行排序,也就是说,调用 redis.call("smembers",KEYS[1]),每次返回的顺序都相同。从 Redis5 开始就不需要排序了,因为 Redis5 复制的是产生影响的命令。

  • Lua 修改了伪随机函数 math.random 和 math.randomseed,使每次执行脚本时 seed 都相同,而如果不执行 math.randomseed,只执行 math.random 时,每次的结果也都相同。

复制命令队列

在这种模式下,Redis 在执行脚本时会收集所有影响数据集的命令,当脚本执行完毕时,命令队列会被放在事务中,发送给 AOF 文件。

Lua 可以通过执行 redis.replicate_commands()函数来检查复制模式,如果返回 true 表示当前是复制命令模式,如果返回 false,则是复制整个脚本模式。

可选择的复制命令

脚本复制模式选择好以后,就可以对复制到副本和 AOF 的方式进行更多的控制。这是一种高级特性,因为滥用会切断主从备份,和 AOF 持久化。如果我们只需要在 master 上执行某些命令时,这一特性就变得很有用。例如我们需要计算一些中间值时,只需要在 master 上计算就好,那么这些命令就不必进行复制。

从 Redis3.2 开始,有一个新的命令叫做 redis.set_repl(),它可以用来控制复制方式,有如下选项(默认是 REPL_ALL):

redis.set_repl(redis.REPL_ALL) -- Replicate to AOF and replicas.
redis.set_repl(redis.REPL_AOF) -- Replicate only to AOF.
redis.set_repl(redis.REPL_REPLICA) -- Replicate only to replicas (Redis >= 5)
redis.set_repl(redis.REPL_SLAVE) -- Used for backward compatibility, the same as REPL_REPLICA.
redis.set_repl(redis.REPL_NONE) -- Don't replicate at all.
全局变量

为了避免数据泄露,Redis 脚本不允许创建全局变量。如果必须有一个公共变量,可以使用 Redis 的 key 来代替。在 EVAL 命令中创建一个全局变量会引起一个异常。

> eval 'a=10' 0
(error) ERR Error running script (call to f_933044db579a2f8fd45d8065f04a8d0249383e57): user_script:1: Script attempted to create global variable 'a
关于 SELECT 的使用

在 Lua 脚本中使用 SELECT 就像在正常客户端中使用一样。值得一提的是,在 Redis2.8.12 之前,Lua 脚本中执行 SELECT 是会影响到客户端的,而从 2.8.12 开始,Lua 脚本中的 SELECT 只会在脚本执行过程中生效。这点在 Redis 版本升级时需要注意,因为升级前后,命令的语义会改变。

可用的库

Lua 脚本中有许多库,但并不是都能在 Redis 中使用,其中可以使用的有:

  • base lib.

  • table lib.

  • string lib.

  • math lib.

  • struct lib.

  • cjson lib.

  • cmsgpack lib.

  • bitop lib.

  • redis.sha1hex function.

  • redis.breakpoint and redis.debug function in the context of the Redis Lua debugger.

struct, CJSON and cmsgpack 是外部库,其他的都是 Lua 的标准库。

在脚本中打印 Redis 日志

使用 redis.log(loglevel,message)函数可以在 Lua 脚本中打印 Redis 日志。

loglevel 包括:

  • redis.LOG_DEBUG

  • redis.LOG_VERBOSE

  • redis.LOG_NOTICE

  • redis.LOG_WARNING

它们与 Redis 的日志等级是对应的。

沙箱和最大执行时间

脚本不应该访问外部系统,包括文件系统和其他系统。脚本应该只能操作 Redis 数据和传入进来的参数。

脚本默认的最大执行时间是 5 秒(正常脚本执行时间都是毫秒级,所以 5 秒已经足够长了)。可以通过修改 lua-time-limit 变量来控制最大执行时间。

当脚本执行时间超过最大执行时间时,并不会被自动终止,因为这违反了脚本的原子性原则。当一个脚本执行时间过长时,Redis 会有如下操作:

  • Redis 记录下这个脚本执行时间过长

  • 其他客户端开始接收命令,但是所有的命令都会会返回繁忙,除了 SCRIPT KILL 和 SHUTDOWN NOSAVE

  • 如果一个脚本仅执行只读命令,则可以用 SCRIPT KILL 命令来停止它。

  • 如果脚本执行了写入命令,那么只能用 SHUTDOWN NOSAVE 来终止服务器,当前的所有数据都不会保存到磁盘。

EVALSHA

最早可用版本:2.6.0

用法:EVALSHA sha1 numkeys key [key ...] arg [arg ...]

该命令用来执行缓存在服务器上的脚本,sha1 为脚本的唯一标识。

使用 EVAL 命令必须每次都要把脚本从客户端传到服务器,由于 Redis 的内部缓存机制,它并不会每次都重新编译脚本,但是传输上仍然浪费带宽。

另一方面,如果使用特殊命令或者通过 redis.conf 来定义命令会有以下问题:

  • 不同实例有不同的实现方式

  • 发布将会很困难,特别是分布式环境,因为要保证所有实例都包含给定的命令

  • 读应用程序代码时,由于它调用了服务端命令,会不清楚代码的语义

为了避免这些问题,同时避免浪费带宽,Redis 实现了 EVALSHA 命令。

如果服务器中没有缓存指定的脚本,会返回给客户端脚本不存在的错误信息。

SCRIPT DEBUG

最早可用版本:3.2.0

时间复杂度:O(1)

用法:SCRIPT DEBUG YES|SYNC|NO

该命令用于设置随后执行的 EVAL 命令的调试模式。Redis 包含一个完整的 Lua 调试器,代号为 LDB,可以使编写复杂脚本的任务更加简单,在调试模式下,Redis 充当远程调试服务器,客户端可以逐步执行脚本,设置断点,检查变量等。想了解更多调试器内容的可以查看官方文档 Redis Lua debugger

LDB 可以设置成异步或同步模式。异步模式下,服务器会 fork 出一个调试会话,不会阻塞主会话,,调试会话结束后,所有数据都会回滚。同步模式则会阻塞会话,并保留调试过程中数据的改变。

SCRIPT EXISTS

最早可用版本:2.6.0

时间复杂度:O(N),N 是脚本数量

返回脚本是否存在于缓存中(存在返回 1,不存在返回 0)。这个命令适合在管道前执行,以保证管道中的所有脚本都已经加载到服务器端了,如果没有,需要用 SCRIPT LOAD 命令进行加载。

SCRIPT FLUSH

最早可用版本:2.6.0

时间复杂度:O(N),N 是缓存中的脚本数

刷新缓存中的脚本,这一命令常在云服务上被使用。

SCRIPT KILL

最早可用版本:2.6.0

时间复杂度:O(1)

停止当前正在执行的 Lua 脚本,通常用来停止执行时间过长的脚本。停止后,被阻塞的客户端会抛出一个错误。

SCRIPT LOAD

最早可用版本:2.6.0

时间复杂度:O(N),N 是脚本的字节数

该命令用于将脚本加载到服务器端的缓存中,但不会执行。加载后,服务器会一直缓存,因为良好的应用程序不太可能有太多不同的脚本导致内存不足。每个脚本都像一个新命令的缓存,所以即使是大型应用程序,也就有几百个,它们占用的内存是微不足道的。

小结

本文介绍了 Redis Lua 相关的命令。其中 EVAL 和 EVALSHA 用来执行脚本。脚本执行具有原子性。脚本的复制和传播可以根据需要设置。脚本中不能定义全局变量。

作者:Jackeyzhe
链接:https://www.jianshu.com/p/fe512264e050
来源:简书
著作权归作者所有。

  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    286 引用 • 248 回帖 • 62 关注
  • Lua
    17 引用 • 17 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...