準備工作

• 需要遷移的Amazon Redshift實例。

• 用于導出Amazon Redshift數據的Amazon S3服務。

• 已開通阿里云對象存儲服務（OSS）。OSS的詳細信息，請參見什么是對象存儲OSS。

• 已創建OSS存儲空間，請參見創建存儲空間。

  說明

  建議OSS存儲空間與AnalyticDB PostgreSQL版實例在同一地域，便于后續數據導入數據庫中。

• 已創建AnalyticDB PostgreSQL版實例，如何選擇實例規格，請參見規格選型。

規格選型

以下內容將指導您如何根據源Amazon Redshift實例規格選擇目標AnalyticDB PostgreSQL版的規格。

Amazon Redshift實例由Leader Node和多個Compute Node組成。

• Leader Node：相當于AnalyticDB PostgreSQL版的Master節點，負責與客戶端通信，分析和制定執行計劃，實施數據庫操作。

• Compute Node：相當于AnalyticDB PostgreSQL版的Segment節點，由多個Node Slices組成。每個Node Slices都相當于AnalyticDB PostgreSQL版的單個Segment節點，負責實際的數據存儲和查詢計算。

當創建AnalyticDB PostgreSQL版實例時，如果不知道如何選擇規格，根據Amazon Redshift中每個Node Slice的規格來選擇合適的AnalyticDB PostgreSQL版節點規格。

示例

源Amazon Redshift實例包含4個Compute Node（每個Node下包含兩個Node Slices），每個Node Slices規格為2核16 GB，存儲為1 TB。

根據源Amazon Redshift實例規格，您在創建AnalyticDB PostgreSQL版實例時，可以選擇8個Segment節點，節點規格為2C16GB；每個Segment節點的存儲容量選擇1000 GB。

操作步驟

步驟一：將Amazon Redshift的數據導出到Amazon S3

您可以使用UNLOAD命令進行導出，如何導出，請參見UNLOAD。

UNLOAD命令語法如下。

UNLOAD ('select-statement')
TO 's3://object-path/name-prefix'
authorization
[ option [ ... ] ]

where option is
{ [ FORMAT [ AS ] ] CSV | PARQUET
| PARTITION BY ( column_name [, ... ] ) [ INCLUDE ]
| MANIFEST [ VERBOSE ] 
| HEADER           
| DELIMITER [ AS ] 'delimiter-char' 
| FIXEDWIDTH [ AS ] 'fixedwidth-spec'   
| ENCRYPTED [ AUTO ]
| BZIP2  
| GZIP 
| ZSTD
| ADDQUOTES 
| NULL [ AS ] 'null-string'
| ESCAPE
| ALLOWOVERWRITE
| CLEANPATH
| PARALLEL [ { ON | TRUE } | { OFF | FALSE } ]
| MAXFILESIZE [AS] max-size [ MB | GB ] 
| REGION [AS] 'Amazon-region' }

步驟二：將Amazon S3數據同步到阿里云OSS

本文提供了在線遷移服務和ossimport工具兩種同步方法。

步驟三：創建用于裝載數據的目標表

在AnalyticDB PostgreSQL版實例中創建用于裝載Amazon Redshift的數據的目標表。目標表結構需與源表結構一致，建表語法，請參見CREATE TABLE。

如需修改DDL定義，例如SCHEMA、TABLE、FUNCTION、VIEW等對象信息，請參見DDL語法轉換。

步驟四：將OSS數據導入AnalyticDB PostgreSQL版實例

您可以通過COPY命令或OSS外表將數據導入AnalyticDB PostgreSQL版：

• 使用COPY命令導入OSS數據的方法，請參見使用COPY或UNLOAD命令導入或導出數據到OSS。

• 使用OSS外表導入OSS數據的方法，請參見導入OSS數據到本地表。

DDL語法轉換

Amazon Redshift DDL語法與AnalyticDB PostgreSQL版DDL語法略有不同，遷移前您需要對這些語法進行轉換。

CREATE SCHEMA

按照AnalyticDB PostgreSQL版語法標準創建Schema，示例如下：

CREATE SCHEMA schema1 AUTHORIZATION xxxpoc;
GRANT ALL ON SCHEMA schema1 TO xxxpoc;
GRANT ALL ON SCHEMA schema1 TO public;
COMMENT ON SCHEMA model IS 'for xxx migration  poc test';

CREATE SCHEMA oss_external_table AUTHORIZATION xxxpoc;

CREATE FUNCTION

由于AnalyticDB PostgreSQL版不兼容Amazon Redshift的部分SQL函數，因此您需要定制或者重寫這些函數。示例如下：

• CONVERT_TIMEZONE(a,b,c)，使用如下語句替換：

  timezone(b, timezone(a,c))

• GETDATE()，使用如下語句替換：

  current_timestamp(0):timestamp

• 用戶定義函數（UDF）替換或優化。Redshift示例函數如下：

  CREATE OR REPLACE FUNCTION public.f_jdate(dt timestamp without time zone)
  RETURNS character varying AS
  '      from datetime import timedelta, datetime
         if dt.hour < 4:
                d = timedelta(days=-1)
                dt = dt + d
         return str(dt.date())'
  LANGUAGE plpythonu IMMUTABLE;
  COMMIT;

  使用如下語句替換：

  to_char(a - interval '4 hour', 'yyyy-mm-dd')

• 其他Amazon Redshift標準的函數。

  您可以在Functions and Operators中查看標準的PostgreSQL函數的用法，修改或自行實現Amazon Redshift和AnalyticDB PostgreSQL版不兼容的函數，例如：

  • DATEADD()

  • DATEDIFF()

  • REGEXP_COUNT()

CREATE TABLE

• 修改表名

  Amazon Redshift的表名最大有效長度為127個字節，而AnalyticDB PostgreSQL版的表名默認最大有效長度為63字節。若表、函數、視圖等對象名稱超過63個有效字符時，需要裁剪名稱。

• 修改壓縮算法

  您需要刪除Amazon Redshift建表語句中的ENCODE XXX，用如下子句代替。

  WITH (COMPRESSTYPE={ZLIB|ZSTD|RLE_TYPE|NONE})

  AnalyticDB PostgreSQL版支持的壓縮算法，請參見壓縮。

• 修改分布鍵

  Amazon Redshift支持三種分布鍵（分配）。您需按照如下規則修改分布鍵：

  • EVEN分配：可用DISTRIBUTED RANDOMLY代替。

  • KEY分配：可用DISTRIBUTED BY (column, [ ... ] )代替。

  • ALL分配：可用DISTRIBUTED REPLICATED代替。

• 修改排序鍵（SortKey）

  刪除Amazon Redshift的排序鍵子句[ COMPOUND | INTERLEAVED ] SORTKEY (column_name [, ...] ) ]中的COMPOUND或者INTERLEAVED選項，使用如下子句代替。

  order by (column, [ ... ])

示例如下：

• 示例一：

  Amazon Redshift的CREATE TABLE語句：

  CREATE TABLE schema1.table1
  (
      filed1 VARCHAR(100) ENCODE lzo,
      filed2 INTEGER DISTKEY,
      filed3 INTEGER,
      filed4 BIGINT ENCODE lzo,
      filed5 INTEGER
  )
  INTERLEAVED SORTKEY
  (
      filed1,
      filed2
  );

  轉換成AnalyticDB PostgreSQL版的CREATE TABLE語句：

  CREATE TABLE schema1.table1
  (
      filed1 VARCHAR(100) ,
      filed2 INTEGER,
      filed3 INTEGER,
      filed4 BIGINT,
      filed5 INTEGER
  )
  WITH(APPENDONLY=true,ORIENTATION=column,COMPRESSTYPE=zstd)
  DISTRIBUTED BY (filed2)
  ORDER BY (filed1, filed2);
  
  -- 排序
  SORT schema1.table1;
  MULTISORT schema1.table1;

• 示例二：

  Amazon Redshift的CREATE TABLE語句，包含ENCODE和SORTKEY選項：

  CREATE TABLE schema2.table2
  (
      filed1 VARCHAR(50) ENCODE lzo,
      filed2 VARCHAR(50) ENCODE lzo,
      filed3 VARCHAR(20) ENCODE lzo,
  )
  DISTSTYLE EVEN
  INTERLEAVED SORTKEY
  (
      filed1
  );

  轉換成AnalyticDB PostgreSQL版的CREATE TABLE語句：

  CREATE TABLE schema2.table2
  (
      filed1 VARCHAR(50),
      filed2 VARCHAR(50),
      filed3 VARCHAR(20),
  )
  WITH(APPENDONLY=true, ORIENTATION=column, COMPRESSTYPE=zstd)
  DISTRIBUTED randomly
  ORDER BY (filed1);
  
  -- 排序
  SORT schema2.table2;
  MULTISORT schema2.table2;

  說明

  更多sortkey信息，請參見列存表使用排序鍵和粗糙集索引加速查詢。

CREATE VIEW

您需要將Amazon Redshift的CREATE VIEW語句轉換成符合AnalyticDB PostgreSQL版語法的SQL語句。CREATE VIEW與CREATE TABLE的轉換規則基本一致。