前提條件

• AnalyticDB for MySQL集群的產品系列為數倉版。

  說明

  數倉版彈性模式集群需要在集群信息頁面的網絡信息區域，打開啟用ENI網絡的開關。

• AnalyticDB for MySQL集群與OSS存儲空間位于同一地域。具體操作，請參見開通OSS服務。

示例數據說明

本示例將oss_import_test_data.csv文件上傳至OSS中的testBucketname/adb/目錄，數據行分隔符為換行符，列分隔符為半角分號（;）。oss_import_test_data.csv文件示例數據如下所示：

uid;other
12;hello_world_1
27;hello_world_2
28;hello_world_3
33;hello_world_4
37;hello_world_5
40;hello_world_6        

操作步驟

1. 在AnalyticDB for MySQL中創建數據庫。

   CREATE DATABASE adb_demo;

2. 創建外表。使用CREATE TABLE語法創建CSV、Parquet或ORC格式的OSS外表。具體語法，請參見OSS外表語法。

   本文示例以CSV格式非分區外表為例。

   CREATE TABLE IF NOT EXISTS oss_import_test_external_table
   (
       uid string,
       other string
   )
   ENGINE='OSS'
   TABLE_PROPERTIES='{
       "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
       "url":"oss://testBucketname/adb/oss_import_test_data.csv",
       "accessid":"LTAIF****5FsE",
       "accesskey":"Ccw****iWjv",
       "delimiter":";",
       "skip_header_line_count":1,
       "charset":"utf-8"
   }'; 

3. 查詢oss_import_test_external_table外表數據。

   說明

   對于CSV格式、Parquet和ORC格式數據文件，數據量越大，通過外表查詢的性能損耗越大。如果您需要進一步提升查詢效率，建議您按照后續步驟（4~5）將OSS外表數據導入AnalyticDB for MySQL后再做查詢。

   SELECT uid, other FROM oss_import_test_external_table WHERE uid < 100 LIMIT 10;

4. 在AnalyticDB for MySQL中創建表，用于存儲從OSS外表導入的數據。

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);

5. 執行INSERT語句將OSS外表數據導入AnalyticDB for MySQL。

   重要

   使用INSERT INTO或INSERT OVERWRITE SELECT導入數據時，默認是同步執行流程。如果數據量較大，達到幾百GB，客戶端到AnalyticDB for MySQL服務端的連接需要保持較長時間。在此期間，可能會因為網絡因素導致連接中斷，進而導致數據導入失敗。因此，如果您的數據量較大時，推薦使用SUBMIT JOB INSERT OVERWRITE SELECT異步執行導入。

   • 方式一：執行INSERT INTO導入數據，當主鍵重復時會自動忽略當前寫入數據，不進行更新覆蓋，作用等同于INSERT IGNORE INTO，詳情請參見INSERT INTO。示例如下：

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方式二：執行INSERT OVERWRITE導入數據，會覆蓋表中原有的數據。示例如下：

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方式三：異步執行INSERT OVERWRITE導入數據。 通常使用SUBMIT JOB提交異步任務，由后臺調度，可以在寫入任務前增加Hint（/*+ direct_batch_load=true*/）加速寫入任務。詳情請參見異步寫入。示例如下：

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     返回結果如下：

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     關于異步提交任務詳情，請參見異步提交導入任務。

OSS外表語法

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"txt|orc|parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAIF****5FsE",
    "accesskey":"Ccw****iWjv",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│ │ │ └── 000000_1
│ │ └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';