歸檔普通表

冷數(shù)據(jù)歸檔執(zhí)行的是表歸檔操作，執(zhí)行冷數(shù)據(jù)歸檔操作后的表稱為歸檔表（只讀），歸檔表的引擎為OSS引擎，歸檔表的數(shù)據(jù)文件存儲(chǔ)在OSS上。執(zhí)行冷數(shù)據(jù)歸檔操作后，原來本地表在PolarStore上占用的空間將被釋放。

語法

• 歸檔為CSV格式的文件：

  ALTER TABLE table_name ENGINE = CSV CONNECTION = 'default_oss_server';

  當(dāng)集群版本為PolarDB MySQL版8.0.1.1.33版本及以上，或PolarDB MySQL版8.0.2.2.13版本及以上，或多主集群（庫表）為PolarDB MySQL版8.0.1.1.15及以上時(shí)，除上述語法外，還支持使用以下語法來手動(dòng)歸檔冷數(shù)據(jù)：

  ALTER TABLE table_name ENGINE = CSV STORAGE OSS;

• 歸檔為ORC格式的文件：

  ALTER TABLE table_name ENGINE = ORC STORAGE OSS;

Target file for archived table exists on oss.

ALTER TABLE table_name ENGINE = CSV CONNECTION = 'default_oss_server' , FORCE;

參數(shù)說明

注意事項(xiàng)

• 支持對(duì)InnoDB引擎和X-Engine引擎上的表使用冷數(shù)據(jù)歸檔功能。

• 冷數(shù)據(jù)歸檔過程中不支持對(duì)表進(jìn)行修改（DDL和DML）。

• 冷數(shù)據(jù)歸檔功能不支持將數(shù)據(jù)文件歸檔到用戶自建的OSS Server中。

• 對(duì)InnoDB引擎中的表使用冷數(shù)據(jù)歸檔功能時(shí)，執(zhí)行冷數(shù)據(jù)歸檔操作的表中必須有主鍵。

• 冷數(shù)據(jù)歸檔完成后，OSS上的歸檔表只讀，且查詢性能較差。您需要提前測(cè)試數(shù)據(jù)歸檔后是否能滿足您的查詢性能要求。

示例

將表t中的數(shù)據(jù)以CSV或ORC格式歸檔至OSS。

1. 在數(shù)據(jù)庫oss_test中創(chuàng)建InnoDB表t。

CREATE TABLE t(a int, b int, c int, primary key(a)) ENGINE = INNODB;

2. 在表t中插入數(shù)據(jù)。

INSERT INTO t VALUES (1,2,3);

3. 通過ALTER命令歸檔冷數(shù)據(jù)。

   • 歸檔為CSV格式：

     ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';

     集群版本為PolarDB MySQL版8.0.1.1.33版本及以上，或PolarDB MySQL版8.0.2.2.13版本及以上，或多主集群（庫表）為PolarDB MySQL版8.0.1.1.15及以上時(shí)，使用以下命令：

     ALTER TABLE t ENGINE = CSV STORAGE OSS; 

   • 歸檔為ORC格式：

     ALTER TABLE t ENGINE = ORC STORAGE OSS;

4. 歸檔完成后，您可以登錄PolarDB控制臺(tái)查看歸檔在OSS上的庫表信息，或通過SQL語句查看歸檔表上的數(shù)據(jù)：

   • 查看歸檔在OSS上的庫表信息：登錄PolarDB控制臺(tái)。在目標(biāo)集群的配置與管理 > 冷數(shù)據(jù)歸檔路徑下，查看歸檔在OSS上的庫表信息。

   • 查看歸檔表上的數(shù)據(jù)：通過SQL語句查看歸檔表上的數(shù)據(jù)，而不需要修改表的訪問方式。例如：

     SELECT * FROM t;

分區(qū)表歸檔至OSS外表

語法

CALL dbms_dlm.archive_partition2table('source_db', 'source_tb', 'source_part', 'archive_db', 'archive_table', 'archive_table_file_filter');

參數(shù)說明

注意事項(xiàng)

• 如果歸檔目標(biāo)OSS表不存在，會(huì)自動(dòng)創(chuàng)建目標(biāo)OSS表，且目標(biāo)表上會(huì)自動(dòng)在archive_table_file_filter指定的列上創(chuàng)建oss_file_filter，以提供查詢加速功能。同時(shí)archive_table_file_filter中會(huì)自動(dòng)加入主鍵和分區(qū)鍵，幫助提升查詢速度。

• 如果歸檔目標(biāo)OSS表存在，則需要比較兩個(gè)表中列名或者列類型定義是否一致。如果一致，則可以進(jìn)行歸檔；如果不一致，則會(huì)出錯(cuò)。您可以使用DDL語句讓這兩個(gè)表定義保持一致，具體請(qǐng)參考相關(guān)文檔冷數(shù)據(jù)DDL。同時(shí)，如果目標(biāo)表上有oss_file_filter，且定義與call dbms_dlm.archive_partition2table中定義的不一致，則以目標(biāo)表上的oss_file_filter為準(zhǔn)。

• 如果目標(biāo)表OSS不存在，但OSS表上有同名文件，則進(jìn)行歸檔操作會(huì)出現(xiàn)報(bào)錯(cuò)信息。報(bào)錯(cuò)信息如下：

  mysql> CALL dbms_dlm.archive_partition2table('test', 'sales', 'p0', 'test', 'sales_history', 'id');
  ERROR 8181 (HY000): [Data Lifecycle Management] errmsg: Target file for archived table exists on oss, please remove it first, or use flag 'FORCE' to overwrite on existing files.

  此時(shí)如果確認(rèn)OSS上的殘留文件不需要，可以通過存儲(chǔ)過程刪除OSS上的數(shù)據(jù)，再執(zhí)行歸檔操作。

  -- 刪除OSS數(shù)據(jù)
  mysql> CALL dbms_oss.delete_table_file('test', 'sales_history');
  
  Query OK, 0 rows affected (0.76 sec)
  
  -- 執(zhí)行歸檔操作
  mysql> CALL dbms_dlm.archive_partition2table('test', 'sales', 'p0', 'test', 'sales_history', 'id');
  
  Query OK, 0 rows affected (4.24 sec)

• 目標(biāo)表OSS僅支持CSV格式冷數(shù)據(jù)。

• 分區(qū)表歸檔后至少還需要包含一個(gè)InnoDB分區(qū)。

• 歸檔后的數(shù)據(jù)丟失了分區(qū)信息，無法直接取回。但是可以通過insert select取回。

• 不支持單獨(dú)歸檔二級(jí)分區(qū)，可以把整個(gè)一級(jí)分區(qū)下的二級(jí)分區(qū)全部歸檔。

• 下表列出了PolarDB MySQL版分區(qū)函數(shù)支持的分區(qū)類型。

  一級(jí)分區(qū)	二級(jí)分區(qū)	是否支持歸檔至OSS外表
  HASH	任意類型	不支持一級(jí)分區(qū)HASH類型歸檔至OSS外表。
  LIST	任意類型	支持。
  RANGE	任意類型	支持。
  KEY	任意類型	支持。
  LIST DEFAULT	任意類型	不支持歸檔DEFAULT分區(qū)。

示例

1. 創(chuàng)建InnoDB分區(qū)表并插入數(shù)據(jù)。

   DROP TABLE IF EXISTS `sales`;
   -- 創(chuàng)建分區(qū)表;
   CREATE TABLE `sales` (
     `id` int DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime NOT NULL,
     primary key (order_time)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
   PARTITION BY RANGE  COLUMNS(order_time) INTERVAL(month, 1)
   (PARTITION p0 VALUES LESS THAN ('2022-01-01') ENGINE = InnoDB,
    PARTITION p1 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p2 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = InnoDB);
   
   DROP PROCEDURE IF EXISTS proc_batch_insert;
   delimiter $$
   CREATE PROCEDURE proc_batch_insert(IN begin INT, IN end INT, IN name VARCHAR(20))
     BEGIN
     SET @insert_stmt = concat('INSERT INTO ', name, ' VALUES(? , ?, ?);');
     PREPARE stmt from @insert_stmt;
     WHILE begin <= end DO
       SET @ID1 = begin;
       SET @NAME = CONCAT(begin+begin*281313, '@stiven');
       SET @TIME = from_days(begin + 738368);
       EXECUTE stmt using @ID1, @NAME, @TIME;
       SET begin = begin + 1;
       END WHILE;
     END;
   $$
   delimiter ;
   
   CALL proc_batch_insert(1, 1000, 'sales');

2. 把分區(qū)表的p0分區(qū)歸檔至新的執(zhí)行OSS表。

   1. 執(zhí)行如下命令，查看sales表結(jié)構(gòu)信息。

      -- 查看當(dāng)前InnoDB表的狀態(tài);
      mysql> SHOW CREATE TABLE sales;

      執(zhí)行結(jié)果如下：

      *************************** 1. row ***************************
             Table: sales
      Create Table: CREATE TABLE `sales` (
        `id` int(11) DEFAULT NULL,
        `name` varchar(20) DEFAULT NULL,
        `order_time` datetime NOT NULL,
        PRIMARY KEY (`order_time`)
      ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
      /*!50500 PARTITION BY RANGE  COLUMNS(order_time) */ /*!99990 800020200 INTERVAL(MONTH, 1) */
      /*!50500 (PARTITION p0 VALUES LESS THAN ('2022-01-01') ENGINE = InnoDB,
       PARTITION p1 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = InnoDB,
       PARTITION p2 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = InnoDB,
       PARTITION _p20240201000000 VALUES LESS THAN ('2024-02-01 00:00:00') ENGINE = InnoDB,
       PARTITION _p20240301000000 VALUES LESS THAN ('2024-03-01 00:00:00') ENGINE = InnoDB,
       PARTITION _p20240401000000 VALUES LESS THAN ('2024-04-01 00:00:00') ENGINE = InnoDB,
       PARTITION _p20240501000000 VALUES LESS THAN ('2024-05-01 00:00:00') ENGINE = InnoDB) */
      1 row in set (0.03 sec)

   2. 執(zhí)行如下命令，將p0分區(qū)歸檔至OSS表sales_history。

      -- 把p0分區(qū)歸檔至OSS表 sales_history，并在id 列上建立OSS_FILE_FILTER;
      mysql> CALL dbms_dlm.archive_partition2table('test', 'sales', 'p0', 'test', 'sales_history', 'id');
      Query OK, 0 rows affected (1.86 sec)

   3. 執(zhí)行如下命令，查看sales_history表結(jié)構(gòu)信息。

      SHOW CREATE TABLE sales_history;

      執(zhí)行結(jié)果如下：

      *************************** 1. row ***************************;
             Table: sales_history
      Create Table: CREATE TABLE `sales_history` (
        `id` int(11) DEFAULT NULL,
        `name` varchar(20) DEFAULT NULL,
       `order_time` datetime DEFAULT NULL,
        PRIMARY KEY (`order_time`)
      ) /*!99990 800020213 STORAGE OSS */ ENGINE=CSV DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci /*!99990 800020204 NULL_MARKER='NULL' */ /*!99990 800020223 OSS META=1 */ /*!99990 800020224 OSS_FILE_FILTER='id,order_time' */
      1 row in set (0.00 sec)

3. 在新的OSS表上進(jìn)行查詢。

   說明

   您可以啟用OSS_FILE_FILTER查詢加速功能，以完成加速查詢。

   mysql> explain SELECT * FROM sales_history WHERE id = 100;
   +----+-------------+---------------+------------+------+---------------+------+---------+------+------+----------+-------------------------------------------------------------------------------+
   | id | select_type | table         | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                                                                         |
   +----+-------------+---------------+------------+------+---------------+------+---------+------+------+----------+-------------------------------------------------------------------------------+
   |  1 | SIMPLE      | sales_history | NULL       | ALL  | NULL          | NULL | NULL    | NULL |  152 |    10.00 | Using where; With pushed engine condition (`test`.`sales_history`.`id` = 100) |
   +----+-------------+---------------+------------+------+---------------+------+---------+------+------+----------+-------------------------------------------------------------------------------+
   1 row in set, 1 warning (0.00 sec)
   
   mysql> SELECT * FROM sales_history WHERE id = 100;
   +------+-----------------+---------------------+
   | id   | name            | order_time          |
   +------+-----------------+---------------------+
   |  100 | 28131400@stiven | 2021-11-09 00:00:00 |
   +------+-----------------+---------------------+
   1 row in set (0.24 sec)

歸檔分區(qū)表

歸檔分區(qū)表是對(duì)表的分區(qū)進(jìn)行歸檔，歸檔后的表為混合分區(qū)表，歸檔后分區(qū)的數(shù)據(jù)文件保存在OSS上。執(zhí)行完歸檔操作后，分區(qū)在PolarStore上占用的空間會(huì)自動(dòng)釋放。

語法

• 歸檔為CSV格式的文件：

  ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV;

• 歸檔為ORC格式的文件：

  ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = ORC;

Target file for archived table exists on oss.

ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV FORCE;

參數(shù)說明

注意事項(xiàng)

• 僅支持對(duì)InnoDB引擎上的分區(qū)表使用冷數(shù)據(jù)歸檔功能。

• 對(duì)分區(qū)表執(zhí)行分區(qū)歸檔操作時(shí)，至少保留一個(gè)分區(qū)在InnoDB引擎上，即無法對(duì)最后一個(gè)InnoDB引擎上的分區(qū)執(zhí)行冷數(shù)據(jù)歸檔操作。

• 歸檔后的表為混合分區(qū)表，不支持對(duì)混合分區(qū)表執(zhí)行DDL操作。使用時(shí)的注意事項(xiàng)詳情請(qǐng)參見創(chuàng)建混合分區(qū)。

• 暫不支持對(duì)歸檔后的分區(qū)數(shù)據(jù)進(jìn)行修改。

• 暫不支持對(duì)分區(qū)表中的二級(jí)分區(qū)執(zhí)行冷數(shù)據(jù)歸檔操作。

• 暫不支持對(duì)LIST DEFAULT HASH分區(qū)表的DEFAULT分區(qū)執(zhí)行冷數(shù)據(jù)歸檔操作。

• 暫不支持對(duì)HASH或KEY類型的分區(qū)表執(zhí)行冷數(shù)據(jù)歸檔操作。

• 暫不支持對(duì)整張分區(qū)表執(zhí)行手動(dòng)歸檔冷數(shù)據(jù)操作。

• 歸檔分區(qū)中的數(shù)據(jù)時(shí)，若OSS上存在同名文件，則會(huì)執(zhí)行失敗并報(bào)類似如下錯(cuò)誤信息：

  Target file for archived table exists on oss.

  您需要執(zhí)行以下命令來覆蓋OSS上已存在的文件。執(zhí)行命令時(shí)請(qǐng)根據(jù)實(shí)際情況替換table_name和part_name。

  ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV/ORC FORCE;

示例

將表t中p1和p2分區(qū)上的數(shù)據(jù)以CSV格式歸檔至OSS。

1. 在數(shù)據(jù)庫中創(chuàng)建InnoDB表t。

   CREATE TABLE t(a int, b int, c int, primary key(a))
   PARTITION BY RANGE(a)
   (PARTITION p1 values less than(100),
    PARTITION p2 values less than(200),
    PARTITION p3 values less than MAXVALUE
   );

2. 在表t中插入數(shù)據(jù)。

   INSERT INTO t VALUES(1,1,1);
   INSERT INTO t VALUES(10,10,10);
   INSERT INTO t VALUES(100,100,100);
   INSERT INTO t VALUES(150,150,150);
   INSERT INTO t VALUES(200,200,200);
   INSERT INTO t VALUES(1000,1000,1000);

3. 執(zhí)行以下命令，將p1和p2分區(qū)上的數(shù)據(jù)歸檔至OSS引擎。

   • 歸檔為CSV格式：

     ALTER TABLE t CHANGE PARTITION p1 ENGINE = csv;
     ALTER TABLE t CHANGE PARTITION p2 ENGINE = csv;

   • 歸檔為ORC格式：

     ALTER TABLE t CHANGE PARTITION p1 ENGINE = ORC;
     ALTER TABLE t CHANGE PARTITION p2 ENGINE = ORC;

4. 歸檔完成后，您可以登錄PolarDB控制臺(tái)查看歸檔在OSS上的庫表信息，或通過SQL語句查詢混合分區(qū)表中的數(shù)據(jù)：

• 查看歸檔在OSS上的庫表信息：登錄PolarDB控制臺(tái)。在目標(biāo)集群的配置與管理 > 冷數(shù)據(jù)歸檔路徑下，查看歸檔在OSS上的庫表信息。

• 查詢混合分區(qū)表中的數(shù)據(jù)：操作詳情請(qǐng)參見查詢混合分區(qū)。

將OSS數(shù)據(jù)導(dǎo)回至PolarStore

ALTER TABLE table_name ENGINE[=]engine_name;

1036 - Table 't1' is read only

ALTER TABLE `oss_test`.`t` ENGINE = InnoDB;

ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';

ALTER TABLE t ENGINE = CSV STORAGE OSS;

ALTER TABLE table_name REORGANIZE PARTITION part_name INTO (partition_definition);

ALTER TABLE t REORGANIZE PARTITION p1 INTO(PARTITION p1 values less than(100));

刪除OSS上對(duì)應(yīng)的文件

當(dāng)您將OSS上的表刪除或?qū)Щ刂罰olarStore后，OSS上的文件不會(huì)同步刪除。確定數(shù)據(jù)不再使用后，您可以使用如下語法刪除OSS上對(duì)應(yīng)的文件：

CALL dbms_oss.delete_table_file('database_name', 'table_name');

由于刪除OSS上對(duì)應(yīng)文件的操作是異步執(zhí)行的，故需要等待集群中的所有節(jié)點(diǎn)都不再依賴OSS文件后才可完全刪除，且流量較大時(shí)存在一定時(shí)延。因此，如果上述命令執(zhí)行失敗并返回錯(cuò)誤信息OSS files are still in use時(shí)，您可以等待一段時(shí)間后再重新執(zhí)行該命令。