本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
云數據庫 Tair(兼容 Redis)實例支持Lua相關命令,通過Lua腳本可高效地處理CAS(compare-and-set)命令,進一步提升Redis的性能,同時可以輕松實現以前較難實現或者不能高效實現的模式。本文介紹使用Lua腳本的基本語法與使用規范。
注意事項
數據管理服務DMS控制臺目前暫不支持使用Lua腳本等相關命令,請通過客戶端或Redis-cli連接Redis實例使用Lua腳本。
基本語法
命令 | 語法 | 說明 |
EVAL |
| 執行給定的腳本和參數,并返回結果。 參數說明:
說明
|
EVALSHA |
| 給定腳本的SHA1校驗和,Redis將再次執行腳本。 使用EVALSHA命令時,若sha1值對應的腳本未緩存至Redis中,Redis會返回NOSCRIPT錯誤,請通過EVAL或SCRIPT LOAD命令將目標腳本緩存至Redis中后進行重試,詳情請參見處理NOSCRIPT錯誤。 |
SCRIPT LOAD |
| 將給定的script腳本緩存在Redis中,并返回該腳本的SHA1校驗和。 |
SCRIPT EXISTS |
| 給定一個(或多個)腳本的SHA1,返回每個SHA1對應的腳本是否已緩存在當前Redis服務。腳本已存在則返回1,不存在則返回0。 |
SCRIPT KILL |
| 停止正在運行的Lua腳本。 |
SCRIPT FLUSH |
| 清空當前Redis服務器中的所有Lua腳本緩存。 |
更多關于Redis命令的介紹,請參見Redis官網。
以下為部分命令的示例,本文在執行以下命令前執行了SET foo value_test
。
EVAL命令示例:
EVAL "return redis.call('GET', KEYS[1])" 1 foo
返回示例:
"value_test"
SCRIPT LOAD命令示例:
SCRIPT LOAD "return redis.call('GET', KEYS[1])"
返回示例:
"620cd258c2c9c88c9d10db67812ccf663d96bdc6"
EVALSHA命令示例:
EVALSHA 620cd258c2c9c88c9d10db67812ccf663d96bdc6 1 foo
返回示例:
"value_test"
SCRIPT EXISTS命令示例:
SCRIPT EXISTS 620cd258c2c9c88c9d10db67812ccf663d96bdc6 ffffffffffffffffffffffffffffffffffffffff
返回示例:
1) (integer) 1 2) (integer) 0
SCRIPT FLUSH命令示例:
警告該命令會清空實例中的所有Lua腳本緩存,請提前備份Lua腳本。
SCRIPT FLUSH
返回示例:
OK
優化內存、網絡開銷
現象:
在Redis中緩存了大量功能重復的腳本,占用大量內存空間甚至引發內存溢出(Out of Memory),錯誤示例如下。
EVAL "return redis.call('set', 'k1', 'v1')" 0
EVAL "return redis.call('set', 'k2', 'v2')" 0
解決方案:
請避免將參數作為常量寫在Lua腳本中,以減少內存空間的浪費。
# 與錯誤示例實現相同功能但僅需緩存一次腳本。 EVAL "return redis.call('set', KEYS[1], ARGV[1])" 1 k1 v1 EVAL "return redis.call('set', KEYS[1], ARGV[1])" 1 k2 v2
更加建議采用如下寫法,在減少內存的同時,降低網絡開銷。
SCRIPT LOAD "return redis.call('set', KEYS[1], ARGV[1])" # 執行后,Redis將返回"55b22c0d0cedf3866879ce7c854970626dcef0c3" EVALSHA 55b22c0d0cedf3866879ce7c854970626dcef0c3 1 k1 v1 EVALSHA 55b22c0d0cedf3866879ce7c854970626dcef0c3 1 k2 v2
清理Lua腳本的內存占用
現象:
由于Lua腳本緩存將計入Redis的內存使用量中,并會導致used_memory升高,當Redis的內存使用量接近甚至超過maxmemory時,可能引發內存溢出(Out Of Memory),報錯示例如下。
-OOM command not allowed when used memory > 'maxmemory'.
解決方案:
通過客戶端執行SCRIPT FLUSH命令清除Lua腳本緩存,但與FLUSHALL不同,SCRIPT FLUSH命令為同步操作。若Redis緩存的Lua腳本過多,SCRIPT FLUSH命令會阻塞Redis較長時間,可能導致實例不可用,請謹慎處理,建議在業務低峰期執行該操作。
在控制臺上單擊清除數據只能清除數據,無法清除Lua腳本緩存。
同時,請避免編寫過大的Lua腳本,防止占用過多的內存;避免在Lua腳本中大批量寫入數據,否則會導致內存使用急劇升高,甚至造成實例OOM。在業務允許的情況下,建議開啟數據逐出(Tair默認開啟,模式為volatile-lru)節省內存空間。但無論是否開啟數據逐出,Tair均不會逐出Lua腳本緩存。
處理NOSCRIPT錯誤
現象:
使用EVALSHA命令時,若sha1值對應的腳本未緩存至Redis中,Redis會返回NOSCRIPT錯誤,報錯示例如下。
(error) NOSCRIPT No matching script. Please use EVAL.
解決方案:
請通過EVAL命令或SCRIPT LOAD命令將目標腳本緩存至Redis中后進行重試。但由于Redis不保證Lua腳本的持久化、復制能力,Redis在部分場景下仍會清除Lua腳本緩存(例如實例遷移、變配等),這要求您的客戶端需具備處理該錯誤的能力,詳情請參見腳本緩存、持久化與復制。
以下為一種處理NOSCRIPT錯誤的Python Demo示例,該demo利用Lua腳本實現了字符串prepend操作。
您可以考慮通過Python的redis-py解決該類錯誤,redis-py提供了封裝Redis Lua的一些底層邏輯判斷(例如NOSCRIPT錯誤的catch)的Script類。
import redis
import hashlib
# strin是一個Lua腳本的字符串,函數以字符串的格式返回strin的sha1值。
def calcSha1(strin):
sha1_obj = hashlib.sha1()
sha1_obj.update(strin.encode('utf-8'))
sha1_val = sha1_obj.hexdigest()
return sha1_val
class MyRedis(redis.Redis):
def __init__(self, host="localhost", port=6379, password=None, decode_responses=False):
redis.Redis.__init__(self, host=host, port=port, password=password, decode_responses=decode_responses)
def prepend_inLua(self, key, value):
script_content = """\
local suffix = redis.call("get", KEYS[1])
local prefix = ARGV[1]
local new_value = prefix..suffix
return redis.call("set", KEYS[1], new_value)
"""
script_sha1 = calcSha1(script_content)
if self.script_exists(script_sha1)[0] == True: # 檢查Redis是否已緩存該腳本。
return self.evalsha(script_sha1, 1, key, value) # 如果已緩存,則用EVALSHA執行腳本
else:
return self.eval(script_content, 1, key, value) # 否則用EVAL執行腳本,注意EVAL有將腳本緩存到Redis的作用。這里也可以考慮采用SCRIPT LOAD與EVALSHA的方式。
r = MyRedis(host="r-******.redis.rds.aliyuncs.com", password="***:***", port=6379, decode_responses=True)
print(r.prepend_inLua("k", "v"))
print(r.get("k"))
處理Lua腳本超時
現象:
由于Lua腳本在Tair中是原子執行的,Lua慢請求可能會導致Tair阻塞。單個Lua腳本阻塞Tair最多5秒,5秒后Tair會給所有其他命令返回如下BUSY error報錯,直到腳本執行結束。
BUSY Redis is busy running a script. You can only call SCRIPT KILL or SHUTDOWN NOSAVE.
解決方案:
您可以通過SCRIPT KILL命令終止Lua腳本或等待Lua腳本執行結束。
說明SCRIPT KILL命令在執行慢Lua腳本的前5秒不會生效(Tair阻塞中)。
建議您編寫Lua腳本時預估腳本的執行時間,同時檢查死循環等問題,避免過長時間阻塞Tair導致服務不可用,必要時請拆分Lua腳本。
現象:
若當前Lua腳本已執行寫命令,則SCRIPT KILL命令將無法生效,報錯示例如下。
(error) UNKILLABLE Sorry the script already executed write commands against the dataset. You can either wait the script termination or kill the server in a hard way using the SHUTDOWN NOSAVE command.
解決方案:
請在控制臺的實例列表中單擊對應實例重啟。
腳本緩存、持久化與復制
現象:
在不重啟、不調用SCRIPT FLUSH命令的情況下,Redis會一直緩存執行過的Lua腳本。但在部分情況下(例如實例遷移、變配、版本升級、切換等等),Redis無法保證Lua腳本的持久化,也無法保證Lua腳本能夠被同步至其他節點。
解決方案:
由于Redis不保證Lua腳本的持久化、復制能力,請您在本地存儲所有Lua腳本,在必要時通過EVAL或SCRIPT LOAD命令將Lua腳本重新緩存至Redis中,避免實例重啟、HA切換等操作時Redis中Lua腳本被清空而帶來的NOSCRIPT錯誤。
集群中Lua腳本的限制
Redis Cluster對使用Lua腳本增加了一些限制,在此基礎上,Tair集群版對使用Lua腳本存在如下額外限制:
小版本限制,若無法執行EVAL的相關命令,并報錯
ERR command eval not support for normal user
時,請升級小版本后重試,具體操作請參見升級小版本與代理版本。所有Key必須在一個slot上,否則報錯
-ERR eval/evalsha command keys must be in same slot\r\n
。您可以通過CLUSTER KEYSLOT命令獲取目標Key的哈希槽(Hash Slot)進行確認。
對單個節點執行SCRIPT LOAD命令時,不保證將該Lua腳本存入至其他節點中。
不支持發布訂閱命令,包括PSUBSCRIBE、PUBSUB、PUBLISH、PUNSUBSCRIBE、SUBSCRIBE和UNSUBSCRIBE。
不支持UNPACK函數。
若您能夠在代碼中確保所有操作都在相同slot(如果不能保障這一點,執行會出錯),且希望打破Tair集群的Lua限制,可以在控制臺將script_check_enable修改為0,則后端不會對腳本進行校驗,但仍需要使用KEYS數組至少傳遞一個key,供代理節點執行路由轉發。具體操作,請參見設置實例參數。
代理模式(Proxy)對Lua的額外檢測項
您也可以通過script_check_enable參數關閉以下檢查項(不推薦)。
所有key都應該由KEYS數組來傳遞,redis.call/pcall中調用的Tair命令,key的位置必須是KEYS array,且不能使用Lua變量替換KEYS,否則返回錯誤信息:
-ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS array\r\n
。說明僅Redis 5.0版本(小版本5.0.8以下)、4.0及以下版本實例存在該限制。
正確與錯誤命令示例如下:
# 本示例的準備工作需執行如下命令。 SET foo foo_value SET {foo}bar bar_value # 正確示例: EVAL "return redis.call('mget', KEYS[1], KEYS[2])" 2 foo {foo}bar # 錯誤示例: EVAL "return redis.call('mget', KEYS[1], '{foo}bar')" 1 foo # '{foo}bar'作為Key,應該使用KEYS數組進行傳遞。 EVAL "local i = 2 return redis.call('mget', KEYS[1], KEYS[i])" 2 foo {foo}bar # 在代理模式(Proxy)不允許執行此腳本,因為KEYS數據的索引是變量,但在直連模式中無此限制。 EVAL "return redis.call('mget', KEYS[1], ARGV[1])" 1 foo {foo}bar # 不應該使用ARGV[1]數據元素作為Key。
redis.call/pcall中調用的Tair命令必須是字符串常量,否則返回錯誤信息:
-ERR bad lua script for redis cluster, first parameter of redis.call/redis.pcall must be a single literal string
。正確與錯誤命令示例如下:
# 正確示例 eval "redis.call('GET', KEYS[1])" 1 foo # 錯誤示例 eval "local cmd = 'GET'; redis.call(cmd, KEYS[1])" 1 foo
調用必須要帶有Key,否則返回錯誤信息:
-ERR for redis cluster, eval/evalsha number of keys can't be negative or zero\r\n
。說明僅Redis 5.0版本(小版本5.0.8以下)、4.0及以下版本實例存在該限制。
正確與錯誤命令示例如下:
# 正確示例 EVAL "return redis.call('get', KEYS[1])" 1 fooeval # 錯誤示例 EVAL "return redis.call('get', 'foo')" 0
不支持Redis嵌套方式調用,否則直接返回錯誤信息:
-ERR bad lua script for redis cluster, nested redis.call/redis.pcall
。您可以使用局部變量的方式進行調用,正確與錯誤命令示例如下:
# 正確示例 EVAL "local value = redis.call('GET', KEYS[1]); redis.call('SET', KEYS[2], value)" 2 foo bar # 錯誤示例 EVAL "redis.call('SET', KEYS[1], redis.call('GET', KEYS[2]))" 2 foo bar
不支持在MULTI、EXEC事務中使用EVAL、EVALSHA、SCRIPT系列命令。
不支持在Lua中執行跨Tair節點的命令,例如KEYS、SCAN等。
為了保證Lua執行的原子性,Proxy會根據KEYS參數將Lua發送到一個Tair節點執行并獲取結果,從而導致該結果與全局結果不一致。
若您需要使用代理模式下受限的部分功能,您可以嘗試開通使用Tair集群版的直連模式。但是由于Tair集群版在遷移、變配時都會通過proxy代理遷移數據,直連模式下不符合代理模式的Lua腳本會遷移、變配失敗。
建議您在直連模式下使用Lua腳本時應盡可能符合代理模式下的限制規范,避免后續Lua腳本遷移、變配失敗。