批量新增離線數(shù)據(jù)同步任務(wù)
數(shù)據(jù)同步支持離線同步任務(wù)的批量創(chuàng)建,并支持一鍵啟動多個上云任務(wù),實(shí)現(xiàn)全量任務(wù)自動建表。本文以同步MySQL數(shù)據(jù)源到MaxCompute目標(biāo)端為例,介紹如何批量新增離線數(shù)據(jù)同步任務(wù)。
前提條件
已存在對應(yīng)數(shù)據(jù)源,具體操作,請參見新建數(shù)據(jù)源。
已完成源端數(shù)據(jù)和目標(biāo)端的物理表同步,具體操作,請參見獲取物理表。
已添加離線數(shù)據(jù)同步任務(wù)目錄,具體操作,請參見添加任務(wù)目錄。
操作步驟
在頁面左上角,單擊圖標(biāo),選擇協(xié)同。
在頂部菜單欄,單擊圖標(biāo),選擇目標(biāo)工作組,單擊資產(chǎn)加工。
在左側(cè)導(dǎo)航欄,單擊圖標(biāo),將鼠標(biāo)懸停在離線數(shù)據(jù)同步上,單擊圖標(biāo)。
在離線數(shù)據(jù)同步頁面,單擊批量新增任務(wù)。
配置基本信息、數(shù)據(jù)元和目標(biāo)端。
在配置向?qū)ы撁妫x擇所屬目錄,輸入任務(wù)的描述。
在數(shù)據(jù)源配置區(qū)域,選擇數(shù)據(jù)源類型。
在數(shù)據(jù)對象的左側(cè)區(qū)域勾選待同步的數(shù)據(jù),單擊圖標(biāo)。
在目標(biāo)端配置區(qū)域,配置目標(biāo)端、分區(qū)信息、清理規(guī)則。
配置完成后,單擊下一步。
配置任務(wù)調(diào)度,單擊下一步。
參數(shù)
說明
檢測表結(jié)構(gòu)變化
選擇是否開啟檢測表結(jié)構(gòu)變化。開啟后,以天為單位,進(jìn)行數(shù)據(jù)源端表結(jié)構(gòu)檢測。若發(fā)現(xiàn)表結(jié)構(gòu)變更,則進(jìn)行異常推送。異常信息可在“運(yùn)維監(jiān)控 - 全景監(jiān)控”中查看。
資源組
選擇資源組。
資源規(guī)格
請?jiān)O(shè)置任務(wù)實(shí)例運(yùn)行需要的CPU內(nèi)核(系統(tǒng)默認(rèn)2個)與內(nèi)存(系統(tǒng)默認(rèn)1024 MB)。
速率
設(shè)置任務(wù)的速率上限,任務(wù)運(yùn)行會盡可能達(dá)到該速度但是不是超過它。
Mb/秒:每個通道每秒傳輸?shù)淖止?jié)流上限。
記錄/條:每個通道每秒傳輸?shù)挠涗洈?shù)上限。
說明字節(jié)流和記錄數(shù)兩個上限,誰先達(dá)到,誰先起作用。
review任務(wù)區(qū)域,對任務(wù)進(jìn)行檢視。
單擊編輯,可對同步任務(wù)的基本信息、目標(biāo)端、字段映射、任務(wù)調(diào)度進(jìn)行修改。
單擊刪除,可刪除某條同步任務(wù)。
單擊提交,在提示對話框中單擊確定。
后續(xù)步驟
批量新增同步任務(wù)后,需要對任務(wù)進(jìn)行上線操作,具體操作,請參見上線離線數(shù)據(jù)同步任務(wù)。