Statement Queue
如果您的MySQL的服務層和引擎層在語句并發(fā)執(zhí)行過程中沖突較多，可以使用AliSQL提供的Statement Queue功能，該功能針對語句的排隊機制，將語句進行分桶排隊，盡量把可能具有相同沖突的語句（例如操作相同行）放在一個桶內(nèi)排隊，減少沖突的開銷，有效提高實例性能。
背景信息
MySQL的服務層和引擎層在語句并發(fā)執(zhí)行過程中，有很多串行的點容易導致沖突。例如在DML語句中，事務鎖沖突比較常見，InnoDB中事務鎖的最細粒度是行級鎖，如果語句針對相同行進行并發(fā)操作，會導致沖突比較嚴重，系統(tǒng)吞吐量會隨著并發(fā)的增加而遞減。AliSQL提供Statement Queue功能，能夠減少沖突開銷，有效提高實例性能。
前提條件
實例版本滿足以下要求：
RDS MySQL 8.0基礎系列或高可用系列（內(nèi)核小版本20191115及以上）
RDS MySQL 5.7基礎系列或高可用系列（內(nèi)核小版本20200630及以上）
變量
AliSQL提供了兩個變量來定義語句隊列的桶數(shù)量和大小：
ccl_queue_bucket_count：表示桶的數(shù)量。
取值范圍：1~64
默認值：4
ccl_queue_bucket_size：表示一個桶允許的并發(fā)數(shù)。
取值范圍：1~4096
默認值：64
您可以在RDS控制臺修改變量值，詳情請參見設置實例參數(shù)。
語法
AliSQL支持兩種hint語法：
ccl_queue_value
根據(jù)值進行hash分桶。
語法：
/*+ ccl_queue_value([int | string]) */示例：
update /*+ ccl_queue_value(1) */ t set c=c+1 where id = 1; update /*+ ccl_queue_value('xyz') */ t set c=c+1 where name = 'xyz';ccl_queue_field
根據(jù)where條件中的字段值進行hash分桶。
語法：
/*+ ccl_queue_field(string) */示例：
update /*+ ccl_queue_field(id) */ t set c=c+1 where id = 1 and name = 'xyz';說明上述兩種hint都是位置敏感的，需要放在update之后。
ccl_queue_field每次只能指定一個field，
/*+ ccl_queue_field(id name) */方式為語法錯誤，CCL queue不會生效。/*+ ccl_queue_field(id) ccl_queue_field(name) */為重復hint，以第一個hint指定的field為準。ccl_queue_field中指定的field必須在where條件中出現(xiàn)。
在ccl_queue_field語法中，where條件只支持原始字段（沒有在字段上使用任何函數(shù)、計算等）的二元運算，并且二元運算的右側(cè)值必須是數(shù)字或者字符串。
接口
AliSQL提供兩個接口便于您查詢Statement Queue狀態(tài)：
dbms_ccl.show_ccl_queue()
查詢當前Statement Queue狀態(tài)。
mysql> call dbms_ccl.show_ccl_queue(); +------+-------+-------------------+---------+---------+----------+ | ID | TYPE | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | +------+-------+-------------------+---------+---------+----------+ | 1 | QUEUE | 64 | 1 | 0 | 0 | | 2 | QUEUE | 64 | 40744 | 65 | 6 | | 3 | QUEUE | 64 | 0 | 0 | 0 | | 4 | QUEUE | 64 | 0 | 0 | 0 | +------+-------+-------------------+---------+---------+----------+ 4 rows in set (0.01 sec)參數(shù)說明如下。
參數(shù)
說明
CONCURRENCY_COUNT
最大并發(fā)數(shù)。
MATCHED
命中規(guī)則的總數(shù)。
RUNNING
當前并發(fā)的數(shù)量。
WAITTING
當前等待的數(shù)量。
dbms_ccl.flush_ccl_queue()
清理內(nèi)存中的數(shù)據(jù)。
mysql> call dbms_ccl.flush_ccl_queue(); Query OK, 0 rows affected (0.00 sec) mysql> call dbms_ccl.show_ccl_queue(); +------+-------+-------------------+---------+---------+----------+ | ID | TYPE | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | +------+-------+-------------------+---------+---------+----------+ | 1 | QUEUE | 64 | 0 | 0 | 0 | | 2 | QUEUE | 64 | 0 | 0 | 0 | | 3 | QUEUE | 64 | 0 | 0 | 0 | | 4 | QUEUE | 64 | 0 | 0 | 0 | +------+-------+-------------------+---------+---------+----------+ 4 rows in set (0.00 sec)
實踐
功能測試
為避免冗長的應用業(yè)務代碼的修改，Statement Queue可以配合Statement Outline進行在線業(yè)務修改，方便快捷。下文使用SysBench的update_non_index為例進行演示。
測試環(huán)境
測試表結(jié)構(gòu)
CREATE TABLE `sbtest1` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `k` int(10) unsigned NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), KEY `k_1` (`k`) ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 MAX_ROWS=1000000;測試語句
UPDATE sbtest1 SET c='xyz' WHERE id=0;測試腳本
./sysbench \ --mysql-host= {$ip} \ --mysql-port= {$port} \ --mysql-db=test \ --test=./sysbench/share/sysbench/update_non_index.lua \ --oltp-tables-count=1 \ --oltp_table_size=1 \ --num-threads=128 \ --mysql-user=u0
測試過程
在線增加Statement Outline。
mysql> CALL DBMS_OUTLN.add_optimizer_outline('test', '', 1, ' /*+ ccl_queue_field(id) */ ', "UPDATE sbtest1 SET c='xyz' WHERE id=0"); Query OK, 0 rows affected (0.01 sec)查看Statement Outline。
mysql> call dbms_outln.show_outline(); +------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+ | ID | SCHEMA | DIGEST | TYPE | SCOPE | POS | HINT | HIT | OVERFLOW | DIGEST_TEXT | +------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+ | 1 | test | 7b945614749e541e0600753367884acff5df7e7ee2f5fb0af5ea58897910f023 | OPTIMIZER | | 1 | /*+ ccl_queue_field(id) */ | 0 | 0 | UPDATE `sbtest1` SET `c` = ? WHERE `id` = ? | +------+--------+------------------------------------------------------------------+-----------+-------+------+--------------------------------+------+----------+---------------------------------------------+ 1 row in set (0.00 sec)驗證Statement Outline生效。
mysql> explain UPDATE sbtest1 SET c='xyz' WHERE id=0; +----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+ | 1 | UPDATE | sbtest1 | NULL | range | PRIMARY | PRIMARY | 4 | const | 1 | 100.00 | Using where | +----+-------------+---------+------------+-------+---------------+---------+---------+-------+------+----------+-------------+ 1 row in set, 1 warning (0.00 sec) mysql> show warnings; +-------+------+-----------------------------------------------------------------------------------------------------------------------------+ | Level | Code | Message | +-------+------+-----------------------------------------------------------------------------------------------------------------------------+ | Note | 1003 | update /*+ ccl_queue_field(id) */ `test`.`sbtest1` set `test`.`sbtest1`.`c` = 'xyz' where (`test`.`sbtest1`.`id` = 0) | +-------+------+-----------------------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec)查詢Statement Queue狀態(tài)。
mysql> call dbms_ccl.show_ccl_queue(); +------+-------+-------------------+---------+---------+----------+ | ID | TYPE | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | +------+-------+-------------------+---------+---------+----------+ | 1 | QUEUE | 64 | 0 | 0 | 0 | | 2 | QUEUE | 64 | 0 | 0 | 0 | | 3 | QUEUE | 64 | 0 | 0 | 0 | | 4 | QUEUE | 64 | 0 | 0 | 0 | +------+-------+-------------------+---------+---------+----------+ 4 rows in set (0.00 sec)開啟測試。
sysbench \ --mysql-host= {$ip} \ --mysql-port= {$port} \ --mysql-db=test \ --test=./sysbench/share/sysbench/update_non_index.lua \ --oltp-tables-count=1 \ --oltp_table_size=1 \ --num-threads=128 \ --mysql-user=u0驗證測試效果。
mysql> call dbms_ccl.show_ccl_queue(); +------+-------+-------------------+---------+---------+----------+ | ID | TYPE | CONCURRENCY_COUNT | MATCHED | RUNNING | WAITTING | +------+-------+-------------------+---------+---------+----------+ | 1 | QUEUE | 64 | 10996 | 63 | 4 | | 2 | QUEUE | 64 | 0 | 0 | 0 | | 3 | QUEUE | 64 | 0 | 0 | 0 | | 4 | QUEUE | 64 | 0 | 0 | 0 | +------+-------+-------------------+---------+---------+----------+ 4 rows in set (0.03 sec) mysql> call dbms_outln.show_outline(); +------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+ | ID | SCHEMA | DIGEST | TYPE | SCOPE | POS | HINT | HIT | OVERFLOW | DIGEST_TEXT | +------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+ | 1 | test | xxxxxxxxx | OPTIMIZER | | 1 | /*+ ccl_queue_field(id) */ | 115795 | 0 | UPDATE `sbtest1` SET `c` = ? WHERE `id` = ? | +------+--------+-----------+-----------+-------+------+--------------------------------+--------+----------+---------------------------------------------+ 1 row in set (0.00 sec)說明查詢結(jié)果顯示Statement Outline命中了115,795次規(guī)則，Statement Queue狀態(tài)顯示命中了10,996次排隊，當前運行并發(fā)63個，排隊等待4個。
性能測試
測試環(huán)境
應用服務器：阿里云ECS實例
RDS實例規(guī)格： 8 核16 GB 內(nèi)存、ESSD云盤
實例類型：高可用系列（數(shù)據(jù)復制方式為異步復制）
測試用例
對id=1的記錄進行并發(fā)更新，使用的Sysbench的測試用例如下：
pathtest = string.match(test, "(.*/)") if pathtest then dofile(pathtest .. "oltp_common.lua") else require("oltp_common") end function thread_init() drv = sysbench.sql.driver() con = drv:connect() end function event() local val_name val_name = "'sdnjkmoklvnseajinvijsfdnvkjsnfjvn".. sb_rand_uniform(1, 4096) .. "'" query = "UPDATE sbtest1 SET c=" .. val_name .. " WHERE id=1" rs = db_query(query) end測試結(jié)果
開啟Statement Queue功能后，在高并發(fā)場景下QPS提升顯著，并發(fā)數(shù)越高，提升越明顯。
說明未開啟Statement Queue功能，在4096線程壓測下實例發(fā)生主備切換，因此QPS為0。