使用遷移助手進行任務遷移時,需先將目標遷移對象(例如,周期任務、表)通過DataWorks導出功能導出,再通過DataWorks導入功能導入至相應工作空間中,完成任務的遷移。本文為您介紹如何創建DataWorks導入任務。
使用限制
當前不同版本的DataWorks遷移助手在進行DataWorks遷移時,支持的策略如下表。
DataWorks遷移功能描述
基礎版
標準版
專業版
企業版
租戶內支持的DataWorks導出包個數
說明若導出包個數超過版本限制,您只能通過升級版本獲取更多導出包數量,不支持付費購買導出包個數。
累計10個
累計30個
累計100個
無上限
DataWorks導入包大小限制
100M
300M
無上限
無上限
DataWorks導入時是否支持自動提交、自動發布
不支持
不支持
支持
支持
僅主賬號和工作空間管理員能夠進行導入和導出操作,其他角色成員僅支持查看導入、導出任務列表,無操作權限。
進行數據質量規則導出與導入時,有以下注意事項:
導出數據質量規則時,訂閱管理(報警相關配置)不支持導出。
導入的數據質量規則關聯的表如果在目標空間不存在,則在數據質量規則頁面上不會展示出這條導入的規則,如果在導入數據質量規則后完成目標表創建,那同樣會在表的規則詳情頁展示出這條導入的規則。
數據質量導入步驟會依賴周期任務導入步驟成功才會執行,因為同一個導入包里面如果同時有數據質量規則和關聯的調度節點信息,您需要先把關聯的節點先導入目標空間且成功提交發布了,才能將調度節點和正確的質量規則關聯上。
如果只單獨導入數據質量,不導入關聯的調度節點,那數據質量依然會導入成功,只是沒有關聯調度節點的信息。后續把關聯調度節點信息導入提交發布后,重新導入數據質量規則后,DataWorks會重新更新數據質量規則并關聯上調度節點。
前提條件
創建DataWorks導入任務前,需先完成如下準備工作:
已創建導出任務。
您需通過DataWorks遷移助手創建導出任務,導出待遷移對象(例如,周期任務、表),詳情請參見創建和查看DataWorks導出任務。
準備待導入文件。
DataWorks支持通過本地或阿里云對象存儲OSS上傳待導入文件,您需根據選擇的上傳方式準備好相應文件,操作如下:
進入遷移助手
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
單擊左上方的圖標,選擇 ,進入遷移助手首頁。
創建導入任務
在遷移助手的左側導航欄,單擊 。
在導入任務列表頁面,單擊右上方的新建導入任務。
在新建導入任務對話框中,配置各項參數。
參數
描述
導入名稱
導入名稱僅支持大小寫字母、中文、數字、下劃線(_)和小數點(.)。
上傳方式
可選擇通過本地或OSS上傳待導入文件。具體如下:
本地上傳:單擊上傳文件,按照界面指引上傳并校驗本地文件。
說明最大支持上傳30MB的本地文件。
OSS文件:輸入OSS鏈接并進行校驗。您可登錄OSS控制臺,按如下步驟獲取相應文件的URL鏈接。
當顯示資源包校驗成功后,您可單擊文件預覽,查看待導入的文件詳情。
備注
對導入任務進行簡單描述。
單擊確認,進入導入任務設置頁面。
導入任務前,您需要校驗導入文件的格式和內容。通過校驗后,才可以單擊確認。
配置導入任務。
配置導入任務時,必須配置引擎實例映射(下圖以MaxCompute計算引擎示例)。其它配置為可選操作,您可以根據業務需求設置。
說明如果是同租戶、同地域下不同工作空間的互導,您只需要設置引擎實例映射。
在引擎實例映射區域,設置源工作空間和目標工作空間的數據源映射關系。
目標工作空間計算引擎實例顯示的是目標工作空間中數據開發綁定的數據源的顯示名稱,而不是創建該數據源所用的項目名稱。您可以前往數據開發,單擊左側導航欄中的數據源,查看相應數據源的顯示名稱。
如下示例為MaxCompute數據源的顯示名稱。
如果源工作空間的數據開發中綁定了多種類型的數據源,目標工作空間僅綁定了一種類型的數據源,則目標工作空間會因為沒有其它類型節點的創建權限,導致導入任務失敗。
可選:在資源組映射區域,修改源工作空間和目標工作空間的資源組映射關系,避免出現運行任務時無法找到資源組的情況。
可選:在依賴映射區域,為相關節點設置項目映射。
導入任務時,若任務中使用了源工作空間名稱(例如,任務代碼、本節點輸入名稱、本節點輸出名稱中包含源工作空間名稱),您可通過修改新項目名,將相關名稱快速替換為使用新的工作空間名稱,以保障任務導入后,依賴關系正確。
可選:在空跑屬性區域,單擊相應節點后的設置空跑。
您也可以選中多個需要空跑的節點,單擊批量設置空跑。
該配置項用于為周期任務設置調度參數中的時間屬性。設置空跑后,節點會直接運行成功,不會生成數據。
可選:在提交規則區域,您可以設置資源、函數和表的提交規則,并可以修改責任人。
說明如果目標工作空間已存在同名的對象,會出現提交失敗的情況。
如果您選擇不修改責任人,且源任務無責任人,則會設置提交人為任務的責任人。
單擊右上方的開始導入。
在請確認對話框中,單擊確認。
查看導入任務
在導入任務列表頁面,不同狀態的任務會顯示不同的操作:
待任務導入成功后,您可以在導入任務列表頁面,單擊相應任務后的查看導入報告,查看導入任務的基本信息、導入結果、明細和導入設置。
如果是編輯中的任務,您可以進行以下操作:
單擊相應任務后的繼續編輯,在導入任務設置頁面修改任務的配置。
單擊相應任務后的預覽,查看導入文件的基本信息、概覽和明細。
單擊相應任務后的刪除,在提示框中單擊確認,刪除該導入任務。
如果是導入失敗的任務,您可以單擊相應任務后的重新導入。在導入進度對話框中,確認導入完成后,請單擊返回導入任務列表。