如果您需要對RDS MySQL云盤數據進行查詢分析,您可先使用高級下載功能將數據下載到阿里云OSS中,再將OSS中的數據導入到云原生數據倉庫AnalyticDB MySQL版進行查詢分析。
前提條件
注意事項
AnalyticDB MySQL版僅支持CSV、Parquet兩種數據文件導入,因此使用RDS MySQL下載備份功能時,請選擇下載格式為CSV或Parquet。
準備工作
通過以下步驟在對象存儲(Object Storage Service,簡稱OSS)中創建存儲AnalyticDB MySQL版數據的目錄,并使用下載備份功能將數據下載到阿里云OSS中。
開通OSS服務。具體操作,請參見開通OSS服務。
在OSS控制臺創建存儲空間(Bucket)。具體操作,請參見控制臺創建存儲空間。
說明OSS與AnalyticDB MySQL版所屬地域需相同。
在OSS控制臺創建目錄。具體操作,請參見創建目錄。
使用下載備份功能下載云盤實例的備份數據,并選擇下載目標為OSS。
說明如果下載目標選擇為其他方式,后續請自行上傳備份至阿里云OSS中。具體操作,請參見上傳數據。
本文示例中,測試所用的RDS MySQL源庫名為
mydb
,該庫中存在表mytable
。表中的數據示例如下:INSERT INTO mytable (id, name) VALUES ("12", "hello_world_1"), ("27", "hello_world_2"), ("28", "hello_world_3"), ("33", "hello_world_4"), ("37", "hello_world_5"), ("40", "hello_world_6");
使用備份下載功能將
mytable
表中數據下載至OSS中的/bucket/_export/mydb/mytable/data/0-1csv
目錄中。
OSS數據導入至AnalyticDB MySQL版
本文示例中,將/bucket/_export/mydb/mytable/data/0-1csv
中的數據導入至AnalyticDB MySQL版的adb_demo
庫中。
連接目標AnalyticDB MySQL集群。詳細操作步驟,請參見連接集群。
創建目標數據庫。詳細操作步驟,請參見創建數據庫。
本示例中,AnalyticDB MySQL集群的目標庫名為
adb_demo
。創建外部映射表。
說明在創建外部映射表時,表名可以選擇與原表名相同,也可以使用不同的表名,按需命名即可。
由于ADB暫不支持全庫分析,僅支持表分析,因此分析前AnalyticDB MySQL版庫中必須有映射表。使用
CREATE TABLE
語句在目標庫adb_demo
中創建CSV或Parquet格式的OSS外部映射表。本示例以創建CSV格式的OSS外部映射表為例(不帶分區)。更多語法詳情,請參見不帶分區的數據文件創建OSS外表。CREATE TABLE IF NOT EXISTS mytable ( id string, name string ) ENGINE='OSS' TABLE_PROPERTIES='{ "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com", "url":"oss://bucket/_export/mydb/mytable/data/0-1csv", "accessid":"LTAIF****5FsE", "accesskey":"Ccw****iWjv", "delimiter":",", "format":"csv" }';
參數
說明
ENGINE='OSS'
表示該表是外部表,使用的存儲引擎是OSS。
TABLE_PROPERTIES
用于告知AnalyticDB MySQL版如何訪問OSS中的數據。
endpoint
OSS的EndPoint(地域節點)。
說明目前僅支持AnalyticDB MySQL版通過ECS的VPC網絡訪問OSS。
登錄OSS控制臺,單擊目標Bucket,在Bucket概覽頁面查看EndPoint(地域節點)。
url
OSS中源數據文件或文件夾的絕對路徑。建議文件夾絕對路徑以正斜線(/)結尾。
示例:
文件:
oss://<bucket-name>/adb/oss_import_test_data.csv
。文件夾:
oss://<bucket-name>/adb_data/
。說明若指定為源數據文件夾的路徑,成功創建外表后,外表中的數據為該文件夾下的所有數據。
accessid
您在訪問OSS中的文件或文件夾時所持有的AccessKey ID。
如何獲取您的AccessKey ID和AccessKey Secret,請參見賬號與權限。
accesskey
您在訪問OSS中的文件或文件夾時所持有的AccessKey Secret。
delimiter
定義CSV數據文件的列分隔符。例如您可以將列分隔符設置為英文逗號(,)。
format
數據文件的格式。
創建Parquet格式文件的外表時需設置為
parquet
。創建ORC格式文件的外表時需設置為
orc
。
說明不指定format時,默認格式為CSV。
說明如果在下載的文件中表格被存儲為多個CSV文件,例如:
0-1csv
,0-2csv
,分析時,只需將url更改為data目錄:"url":"oss://bucket/_export/mydb/mytable/data/"
,AnalyticDB MySQL版會將該路徑下的文件合并到mytable
分析表中。此時,在AnalyticDB MySQL版數據庫中可以看到
mytable
表,該表與下載源的mytable
表內容是完全一致的,可對其進行查詢。執行如下語句,查詢導入的數據。
-- mytable為數據庫中表名稱 SELECT * FROM mytable;
得到表格結果,該表內容與下載源的mytable表內容完全一致。
后續步驟
RDS MySQL云盤下載數據導入至AnalyticDB MySQL版后,就可通過AnalyticDB MySQL版的分析能力對下載的表做業務分析。如果涉及到多個表聯表查詢,您需要按以上步驟導入多個表格到adb_demo
數據庫中。