日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

Lua腳本規范與常見報錯

重要

本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。

云數據庫 Tair(兼容 Redis)實例支持Lua相關命令,通過Lua腳本可高效地處理CAS(compare-and-set)命令,進一步提升Redis的性能,同時可以輕松實現以前較難實現或者不能高效實現的模式。本文介紹使用Lua腳本的基本語法與使用規范。

注意事項

數據管理服務DMS控制臺目前暫不支持使用Lua腳本等相關命令,請通過客戶端或Redis-cli連接Redis實例使用Lua腳本。

基本語法

命令

語法

說明

EVAL

EVAL script numkeys [key [key ...]] [arg [arg ...]]

執行給定的腳本和參數,并返回結果。

參數說明:

  • script:Lua腳本。

  • numkeys:指定KEYS[]參數的數量,非負整數。

  • KEYS[]:傳入的Redis鍵參數。

  • ARGV[]:傳入的腳本參數。KEYS[]與ARGV[]的索引均從1開始。

說明
  • 與SCRIPT LOAD命令一樣,EVAL命令也會將Lua腳本緩存至Tair

  • 混用或濫用KEYS[]ARGV[]可能會導致Tair產生不符合預期的行為,尤其在集群模式下,詳情請參見集群中Lua腳本的限制

  • 推薦使用KEYS[]ARGV[]的方式傳遞參數。不推薦將參數編碼進腳本中,過多類似行為會導致LUA虛擬機內存使用量上升,且無法及時回收,極端情況下會導致實例主庫與備庫內存溢出(Out of Memory),造成數據丟失。

EVALSHA

EVALSHA sha1 numkeys key [key ...] arg [arg ...]

給定腳本的SHA1校驗和,Redis將再次執行腳本。

使用EVALSHA命令時,若sha1值對應的腳本未緩存至Redis中,Redis會返回NOSCRIPT錯誤,請通過EVAL或SCRIPT LOAD命令將目標腳本緩存至Redis中后進行重試,詳情請參見處理NOSCRIPT錯誤

SCRIPT LOAD

SCRIPT LOAD script

將給定的script腳本緩存在Redis中,并返回該腳本的SHA1校驗和。

SCRIPT EXISTS

SCRIPT EXISTS script [script ...]

給定一個(或多個)腳本的SHA1,返回每個SHA1對應的腳本是否已緩存在當前Redis服務。腳本已存在則返回1,不存在則返回0。

SCRIPT KILL

SCRIPT KILL

停止正在運行的Lua腳本。

SCRIPT FLUSH

SCRIPT FLUSH

清空當前Redis服務器中的所有Lua腳本緩存。

更多關于Redis命令的介紹,請參見Redis官網

以下為部分命令的示例,本文在執行以下命令前執行了SET foo value_test

  • EVAL命令示例:

    EVAL "return redis.call('GET', KEYS[1])" 1 foo

    返回示例:

    "value_test"
  • SCRIPT LOAD命令示例:

    SCRIPT LOAD "return redis.call('GET', KEYS[1])"

    返回示例:

    "620cd258c2c9c88c9d10db67812ccf663d96bdc6"
  • EVALSHA命令示例:

    EVALSHA 620cd258c2c9c88c9d10db67812ccf663d96bdc6 1 foo

    返回示例:

    "value_test"
  • SCRIPT EXISTS命令示例:

    SCRIPT EXISTS 620cd258c2c9c88c9d10db67812ccf663d96bdc6 ffffffffffffffffffffffffffffffffffffffff

    返回示例:

    1) (integer) 1
    2) (integer) 0
  • SCRIPT FLUSH命令示例:

    警告

    該命令會清空實例中的所有Lua腳本緩存,請提前備份Lua腳本。

    SCRIPT FLUSH

    返回示例:

    OK

優化內存、網絡開銷

現象:

在Redis中緩存了大量功能重復的腳本,占用大量內存空間甚至引發內存溢出(Out of Memory),錯誤示例如下。

EVAL "return redis.call('set', 'k1', 'v1')" 0
EVAL "return redis.call('set', 'k2', 'v2')" 0

解決方案:

  • 請避免將參數作為常量寫在Lua腳本中,以減少內存空間的浪費。

    # 與錯誤示例實現相同功能但僅需緩存一次腳本。
    EVAL "return redis.call('set', KEYS[1], ARGV[1])" 1 k1 v1
    EVAL "return redis.call('set', KEYS[1], ARGV[1])" 1 k2 v2
  • 更加建議采用如下寫法,在減少內存的同時,降低網絡開銷。

    SCRIPT LOAD "return redis.call('set', KEYS[1], ARGV[1])"    # 執行后,Redis將返回"55b22c0d0cedf3866879ce7c854970626dcef0c3"
    EVALSHA 55b22c0d0cedf3866879ce7c854970626dcef0c3 1 k1 v1
    EVALSHA 55b22c0d0cedf3866879ce7c854970626dcef0c3 1 k2 v2

清理Lua腳本的內存占用

現象:

由于Lua腳本緩存將計入Redis的內存使用量中,并會導致used_memory升高,當Redis的內存使用量接近甚至超過maxmemory時,可能引發內存溢出(Out Of Memory),報錯示例如下。

-OOM command not allowed when used memory > 'maxmemory'.

解決方案:

通過客戶端執行SCRIPT FLUSH命令清除Lua腳本緩存,但與FLUSHALL不同,SCRIPT FLUSH命令為同步操作。若Redis緩存的Lua腳本過多,SCRIPT FLUSH命令會阻塞Redis較長時間,可能導致實例不可用,請謹慎處理,建議在業務低峰期執行該操作。

說明

在控制臺上單擊清除數據只能清除數據,無法清除Lua腳本緩存。

同時,請避免編寫過大的Lua腳本,防止占用過多的內存;避免在Lua腳本中大批量寫入數據,否則會導致內存使用急劇升高,甚至造成實例OOM。在業務允許的情況下,建議開啟數據逐出Tair默認開啟,模式為volatile-lru)節省內存空間。但無論是否開啟數據逐出,Tair均不會逐出Lua腳本緩存。

處理NOSCRIPT錯誤

現象:

使用EVALSHA命令時,若sha1值對應的腳本未緩存至Redis中,Redis會返回NOSCRIPT錯誤,報錯示例如下。

(error) NOSCRIPT No matching script. Please use EVAL.

解決方案:

請通過EVAL命令或SCRIPT LOAD命令將目標腳本緩存至Redis中后進行重試。但由于Redis不保證Lua腳本的持久化、復制能力,Redis在部分場景下仍會清除Lua腳本緩存(例如實例遷移、變配等),這要求您的客戶端需具備處理該錯誤的能力,詳情請參見腳本緩存、持久化與復制

以下為一種處理NOSCRIPT錯誤的Python Demo示例,該demo利用Lua腳本實現了字符串prepend操作。

說明

您可以考慮通過Python的redis-py解決該類錯誤,redis-py提供了封裝Redis Lua的一些底層邏輯判斷(例如NOSCRIPT錯誤的catch)的Script類。

import redis
import hashlib

# strin是一個Lua腳本的字符串,函數以字符串的格式返回strin的sha1值。
def calcSha1(strin):
    sha1_obj = hashlib.sha1()
    sha1_obj.update(strin.encode('utf-8'))
    sha1_val = sha1_obj.hexdigest()
    return sha1_val

class MyRedis(redis.Redis):

    def __init__(self, host="localhost", port=6379, password=None, decode_responses=False):
        redis.Redis.__init__(self, host=host, port=port, password=password, decode_responses=decode_responses)

    def prepend_inLua(self, key, value):
        script_content = """\
        local suffix = redis.call("get", KEYS[1])
        local prefix = ARGV[1]
        local new_value = prefix..suffix
        return redis.call("set", KEYS[1], new_value)
        """
        script_sha1 = calcSha1(script_content)
        if self.script_exists(script_sha1)[0] == True:      # 檢查Redis是否已緩存該腳本。
            return self.evalsha(script_sha1, 1, key, value) # 如果已緩存,則用EVALSHA執行腳本
        else:
            return self.eval(script_content, 1, key, value) # 否則用EVAL執行腳本,注意EVAL有將腳本緩存到Redis的作用。這里也可以考慮采用SCRIPT LOAD與EVALSHA的方式。

r = MyRedis(host="r-******.redis.rds.aliyuncs.com", password="***:***", port=6379, decode_responses=True)

print(r.prepend_inLua("k", "v"))
print(r.get("k"))
            

處理Lua腳本超時

  • 現象:

    由于Lua腳本在Tair中是原子執行的,Lua慢請求可能會導致Tair阻塞。單個Lua腳本阻塞Tair最多5秒,5秒后Tair會給所有其他命令返回如下BUSY error報錯,直到腳本執行結束。

    BUSY Redis is busy running a script. You can only call SCRIPT KILL or SHUTDOWN NOSAVE.

    解決方案:

    您可以通過SCRIPT KILL命令終止Lua腳本或等待Lua腳本執行結束。

    說明
    • SCRIPT KILL命令在執行慢Lua腳本的前5秒不會生效(Tair阻塞中)。

    • 建議您編寫Lua腳本時預估腳本的執行時間,同時檢查死循環等問題,避免過長時間阻塞Tair導致服務不可用,必要時請拆分Lua腳本。

  • 現象:

    若當前Lua腳本已執行寫命令,則SCRIPT KILL命令將無法生效,報錯示例如下。

    (error) UNKILLABLE Sorry the script already executed write commands against the dataset. You can either wait the script termination or kill the server in a hard way using the SHUTDOWN NOSAVE command.

    解決方案:

    請在控制臺的實例列表中單擊對應實例重啟

腳本緩存、持久化與復制

現象:

在不重啟、不調用SCRIPT FLUSH命令的情況下,Redis會一直緩存執行過的Lua腳本。但在部分情況下(例如實例遷移、變配、版本升級、切換等等),Redis無法保證Lua腳本的持久化,也無法保證Lua腳本能夠被同步至其他節點。

解決方案:

由于Redis不保證Lua腳本的持久化、復制能力,請您在本地存儲所有Lua腳本,在必要時通過EVAL或SCRIPT LOAD命令將Lua腳本重新緩存至Redis中,避免實例重啟、HA切換等操作時Redis中Lua腳本被清空而帶來的NOSCRIPT錯誤。

集群中Lua腳本的限制

Redis Cluster對使用Lua腳本增加了一些限制,在此基礎上,Tair集群版對使用Lua腳本存在如下額外限制:

  • 小版本限制,若無法執行EVAL的相關命令,并報錯ERR command eval not support for normal user時,請升級小版本后重試,具體操作請參見升級小版本與代理版本

  • 所有Key必須在一個slot上,否則報錯-ERR eval/evalsha command keys must be in same slot\r\n

    您可以通過CLUSTER KEYSLOT命令獲取目標Key的哈希槽(Hash Slot)進行確認。

  • 對單個節點執行SCRIPT LOAD命令時,不保證將該Lua腳本存入至其他節點中。

  • 不支持發布訂閱命令,包括PSUBSCRIBEPUBSUBPUBLISHPUNSUBSCRIBESUBSCRIBEUNSUBSCRIBE

  • 不支持UNPACK函數。

說明

若您能夠在代碼中確保所有操作都在相同slot(如果不能保障這一點,執行會出錯),且希望打破Tair集群的Lua限制,可以在控制臺將script_check_enable修改為0,則后端不會對腳本進行校驗,但仍需要使用KEYS數組至少傳遞一個key,供代理節點執行路由轉發。具體操作,請參見設置實例參數

代理模式(Proxy)對Lua的額外檢測項

您也可以通過script_check_enable參數關閉以下檢查項(不推薦)。

  • 所有key都應該由KEYS數組來傳遞,redis.call/pcall中調用的Tair命令,key的位置必須是KEYS array,且不能使用Lua變量替換KEYS,否則返回錯誤信息:-ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS array\r\n

    說明

    僅Redis 5.0版本(小版本5.0.8以下)、4.0及以下版本實例存在該限制。

    正確與錯誤命令示例如下:

    # 本示例的準備工作需執行如下命令。
    SET foo foo_value
    SET {foo}bar bar_value
    
    # 正確示例:
    EVAL "return redis.call('mget', KEYS[1], KEYS[2])" 2 foo {foo}bar
    
    # 錯誤示例:
    EVAL "return redis.call('mget', KEYS[1], '{foo}bar')" 1 foo                      # '{foo}bar'作為Key,應該使用KEYS數組進行傳遞。
    EVAL "local i = 2 return redis.call('mget', KEYS[1], KEYS[i])" 2 foo {foo}bar    # 在代理模式(Proxy)不允許執行此腳本,因為KEYS數據的索引是變量,但在直連模式中無此限制。
    EVAL "return redis.call('mget', KEYS[1], ARGV[1])" 1 foo {foo}bar                # 不應該使用ARGV[1]數據元素作為Key。
  • redis.call/pcall中調用的Tair命令必須是字符串常量,否則返回錯誤信息:-ERR bad lua script for redis cluster, first parameter of redis.call/redis.pcall must be a single literal string

    正確與錯誤命令示例如下:

    # 正確示例
    eval "redis.call('GET', KEYS[1])" 1 foo
    
    # 錯誤示例
    eval "local cmd = 'GET'; redis.call(cmd, KEYS[1])" 1 foo
  • 調用必須要帶有Key,否則返回錯誤信息:-ERR for redis cluster, eval/evalsha number of keys can't be negative or zero\r\n

    說明

    僅Redis 5.0版本(小版本5.0.8以下)、4.0及以下版本實例存在該限制。

    正確與錯誤命令示例如下:

    # 正確示例
    EVAL "return redis.call('get', KEYS[1])" 1 fooeval
    
    # 錯誤示例
    EVAL "return redis.call('get', 'foo')" 0
  • 不支持Redis嵌套方式調用,否則直接返回錯誤信息:-ERR bad lua script for redis cluster, nested redis.call/redis.pcall

    您可以使用局部變量的方式進行調用,正確與錯誤命令示例如下:

    # 正確示例
    EVAL "local value = redis.call('GET', KEYS[1]); redis.call('SET', KEYS[2], value)" 2 foo bar
    
    # 錯誤示例
    EVAL "redis.call('SET', KEYS[1], redis.call('GET', KEYS[2]))" 2 foo bar
  • 不支持在MULTI、EXEC事務中使用EVAL、EVALSHA、SCRIPT系列命令。

  • 不支持在Lua中執行跨Tair節點的命令,例如KEYS、SCAN等。

    為了保證Lua執行的原子性,Proxy會根據KEYS參數將Lua發送到一個Tair節點執行并獲取結果,從而導致該結果與全局結果不一致。

說明

若您需要使用代理模式下受限的部分功能,您可以嘗試開通使用Tair集群版的直連模式。但是由于Tair集群版在遷移、變配時都會通過proxy代理遷移數據,直連模式下不符合代理模式的Lua腳本會遷移、變配失敗。

建議您在直連模式下使用Lua腳本時應盡可能符合代理模式下的限制規范,避免后續Lua腳本遷移、變配失敗。