DataWorks支持一鍵導入表結構功能,幫助您使用DataStudio快速批量創建與目標MaxCompute表結構相同的Hologres外部表,后續您可使用Hologres外部表加速查詢MaxCompute表的數據。本文為您介紹如何創建并使用一鍵MaxCompute表結構同步節點。
背景信息
Hologres是阿里巴巴自主研發的一站式實時數倉引擎,它與MaxCompute在底層無縫連接,支持使用新建外部表的方式加速查詢MaxCompute數據。
DataWorks是基于IMPORT FOREIGN SCHEMA語句實現可視化方式的一鍵MaxCompute表結構同步Hologres。
使用限制
僅支持使用該功能加速查詢MaxCompute內部表的數據,不支持加速查詢MaxCompute外部表的數據和視圖。
進入一鍵MaxCompute表結構同步界面
進入數據開發頁面。
登錄DataWorks控制臺,單擊左側導航欄的數據建模與開發 > 數據開發,在下拉框中選擇對應工作空間后單擊進入數據開發。
創建業務流程。
如果您已有業務流程,則可以忽略該步驟。
鼠標懸停至圖標,選擇新建業務流程。
在新建業務流程對話框,輸入業務名稱。
單擊新建。
創建一鍵MaxCompute表結構同步節點。
鼠標懸停至圖標,選擇 。
您也可以找到相應的業務流程,右鍵單擊業務流程,選擇
。在新建節點對話框中,輸入名稱,并選擇引擎實例、節點類型及路徑。
單擊確認,進入節點編輯頁面。
配置一鍵MaxCompute表結構同步節點
配置節點信息。
在節點編輯頁面,配置創建Hologres外部表所使用的Hologres連接信息、MaxCompute表的來源信息及建表時的沖突策略。
配置目標信息。
用于配置創建的Hologres外部表要放于哪個Hologres實例下。
參數
描述
目標連接
Hologres的實例名稱。
目標庫
Hologres實例下的數據庫名稱。
模式
Hologres數據庫下的Schema名稱。默認為public。
配置來源信息。
用于配置創建的Hologres外部表的表結構來源于哪個表。DataWorks基于該信息在Hologres中創建與源表的表結構相同的外部表,方便您通過Hologres外部表快速查詢源表數據。
參數
描述
類型
當前僅支持基于MaxCompute類型的源表創建Hologres外部表。
服務器列表
源表所在的服務器。
您可以直接調用Hologres底層已創建的odps_server外部表服務器。詳細原理請參見postgres_fdw。
來源項目
源表所在的項目名稱。
選擇要直接加速的表
用于選擇需要基于哪些源表創建外部表。
整庫加速:創建所選數據庫中的所有表。
部分加速:僅創建所選數據庫中的部分表。可通過表名搜索需要創建的表。
說明搜索支持模糊匹配,即輸入關鍵詞即可查詢到所有名稱包含關鍵詞的表。
配置沖突策略。
用于配置創建外部表時,對于沖突情況所采取的處理策略。
參數
描述
表名沖突
Hologres中存在與創建的外部表名稱相同的表時,處理策略如下:
忽略,繼續創建其他表。
更新,修改同名表。
報錯,不再重復創建。
數據類型不支持
創建外部表時,對Hologres不支持的數據類型處理策略如下:
報錯,導入失敗:該方式會導致所選表創建失敗。
忽略,跳過不支持字段:該方式僅會忽略不支持的字段,但不影響表的創建。
保存并運行節點。
在節點編輯頁面的頂部菜單欄,單擊圖標,保存節點配置。
在節點編輯頁面的頂部菜單欄,單擊圖標,批量創建外部表。
運行時您需要選擇Hologres實例與DataWorks網絡環境處于連通狀態的Serverless資源組。詳情請參見網絡連通方案。
后續步驟
外部表創建完成后,您可進入DataWorks的表管理頁面查看批量創建的外部表,詳情請參見表管理;或使用Hologres的命令加速查詢MaxCompute數據,詳情請參見通過創建外部表加速查詢MaxCompute數據。
僅支持加速查詢MaxCompute內部表的數據,不支持加速查詢MaxCompute外部表的數據和視圖。