日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

全增量同步任務運維

更新時間:

完成任務配置后,您可以對已創建的任務進行管理,同時,您還可以查看任務運行的指標詳情。本文為您介紹全增量同步任務的常見運維操作。

背景信息

本文僅說明全增量同步任務常見的運維操作,全增量同步任務產生的實時同步子任務運維操作請參見:實時同步任務運維;離線子任務運維操作參考:離線同步任務運維

管理全增量同步任務

任務配置完成后,您可以在數據集成 > 同步任務頁面查看已創建的同步任務列表,您可以根據不同條件篩選同步任務。并對相應的同步任務執行如下操作:

操作

說明

啟動

單擊對應同步任務操作列的提交執行,啟動同步任務的運行。

編輯

實際生產環境業務會隨著時間推移不斷演進,源端的業務表可能會持續新增,全增量同步任務支持增加或刪除表。您可以單擊操作更多 > 修改配置,進入任務配置界面進行增加或刪除表,配置完成后,您可以單擊提交執行,提交執行任務時,會和上一次運行成功的任務對應的表做對比,當發現新增表時則會執行新增表的添加流程。詳情請參見:增加或刪除已運行任務的同步表

如果同步方案類型為一鍵實時同步,將先對新增表進行全量初始化,執行完成后會將新增表加入實時同步任務并啟動實時同步。

說明
  • 重置實時同步任務位點并啟動運行時,會存在一個新增表追加變更數據的過程,即任務位點時間重置到新增表全量數據初始化時的時間。例如,您的同步任務8點開始運行,到9點時運行未結束。9點時新增了一張表,則全量數據初始化在9點開始執行,此過程耗時1小時,即全量數據初始化在10點完成。此時,已經正在運行的實時同步任務會先停止,然后重置任務位點到9點,進行追加增量數據,9點到10點之間所有變更表的增量數據會被重新同步至Hologres目標表,一鍵新增表只保證數據的最終一致性。

  • 若您需要對所有表執行初始化操作,請使用強制重跑功能。

強制重跑

在某些特殊情況下,例如發現源端數據被污染、數據鏈路出現問題等,您可以單擊操作更多 > 強制重跑強制對源端所有表進行全增量初始化操作,將源端數據重新遷移到目標表中,以快速恢復數據。

說明
  • 僅Hologres和MaxCompute支持強制重跑同步任務。

  • 強制重跑暫不支持分庫分表全增量同步任務。

其中一鍵實時同步至MaxCompute任務需要重跑流程恢復數據的常見場景如下:

  • 實時任務失敗太久導致Binlog被清理,無法補回增量數據。

  • 由于各種原因導致目標表缺失了新增列。

  • 由于各種原因導致目標表數據出現了缺失或者不正確的問題。

重要
  • 強制重跑會同步源表的列到目標表,如果目標表缺失了源表的列則會進行加列補齊。

  • 執行強制重跑前,需要確認是否可能和正在運行或者即將運行的Merge任務實例產生沖突(同時運行時,如果業務日期相同,分區數據或者表數據可能會相互覆蓋)。

    您可以在DataWorks運維中心查看周期實例頁面查看該同步任務Merge實例的執行情況,如果Merge任務和強制重跑操作產生沖突,您可以:

    • 暫停強制重跑操作,等待Merge任務執行完成后,再執行強制重跑操作。

    • 凍結即將運行的Merge實例,等待強制重跑成功后,恢復Merge實例。

  • 強制重跑執行完成后,如果次日數據未產出或者Merge任務沒有恢復自動運行,您需要手動確認并恢復該Merge實例的運行:

全量補數據

該功能適用于MaxCompute目標表由于各種原因出現了數據缺失等正確性問題,需要重新同步全量數據補回全量數據的場景。

說明
  • 僅一鍵實時同步至MaxCompute任務支持全量補數據。

  • 全量補數據暫不支持分庫分表同步任務。

單擊對應同步任務操作列的全量補數據,配置全量補數據參數:

  1. 選擇補數據的業務日期。

    對于分區表,全量數據會同步到業務日期對應的日期分區中。

  2. 選擇補數據端表。

    在左側選擇框,選擇要執行全量同步的表,單擊圖標圖標,將其添加至右側。

  3. 單擊確定按鈕,開始全量補數據操作。

重要
  • 當前業務日期僅支持選擇單日,如果要補多日的全量數據,需要執行多次全量補數據。

  • 一鍵全量同步會同步源表和目標表的共同列,以及全增量同步任務中定義的附加列。

  • 執行全量補數據前,需要確認補數據的業務日期,是否可能和正在運行或者即將運行的Merge任務實例產生沖突(同時運行時,如果業務日期相同,分區數據或者表數據可能會相互覆蓋)。

    您可以在DataWorks運維中心查看周期實例頁面查看該同步任務Merge實例的執行情況,如果Merge任務和全量補數據操作產生沖突,您可以:

    • 暫停全量補數據操作,等待Merge任務執行完成后,再執行全量補數據操作。

    • 凍結即將運行的Merge實例,等待全量補數據完成后,恢復Merge實例。

停止

運行中的任務,可以單擊操作列的停止,終止同步任務的運行。

查看任務運行概況

您可以進入數據集成 > 任務運維頁面查看所選時間周期中目標全增量同步任務的運行狀態概況。主要內容如下:

  • 總運行狀態分布區域展示當前所選時間周期,目標任務的個數及運行結果的狀態分布,統計的是任務運行成功及失敗狀況。您可以單擊餅圖中的某個色塊,進入相應狀態的任務列表,在任務列表頁面查看相應任務的執行詳情。任務的執行詳情內容介紹請參見查看任務執行詳情

  • 資源組水位區域展示當前登錄阿里云的賬號所使用的資源組規格及使用情況。您可以單擊資源組名稱,進入目標資源組詳情頁面,查看資源組的基本信息及使用詳情。資源組的詳細內容介紹請參見查看獨享資源組的使用詳情

  • 離線同步子任務區域展示當前所選時間周期,目標全增量同步任務包含的離線同步任務個數、同步速率、運行結果的狀態分布,以及同步數據情況。

    • 運行結果統計的是任務運行成功及異常狀況。

    • 同步數據說明如下:

      • 同步任務數:顯示當前同步任務中運行成功的任務個數。

      • 同步數據量:顯示當前同步任務中的已同步數據量,包含已運行成功任務同步的數據量及運行中任務已同步的數據量。

      • 同步記錄數:顯示當前同步任務中的已同步數據的條數記錄。

    說明

    離線同步子任務的統計情況每小時更新一次。

  • 實時同步子任務區域展示當前所選周期,目標全增量同步任務包含的實時同步任務個數、同步速率、運行結果的狀態分布,以及運行中任務延遲排行TOP10的延遲情況。您可以單擊任務名稱,進入實時任務運維頁面查看任務詳情。

查看任務執行詳情

您可以單擊數據集成 > 同步任務,進入任務列表頁面。

在任務列表頁面,為您展示全增量同步任務的任務類型任務名稱及可執行的相關操作等信息,您可以在目標同步任務的操作列單擊執行詳情,查看任務執行的詳細信息。主要內容如下:

  • 執行數據區域展示當前查看任務的同步前置環境準備全量離線同步實時同步等子任務的執行狀態。您可以根據執行狀態,判斷各個子任務是否正常運行,便于快速定位全增量同步任務執行的阻塞點。狀態如下:

    • 顯示運行成功圖標,則表示任務執行成功。

    • 顯示異常圖標,則表示任務執行異常。

    • 顯示等待運行圖標,則表示任務等待運行。

  • 全量離線同步實時同步區域展示當前查看的全增量同步任務中,全量離線同步實時同步子任務同步的來源數據源、當前同步速率、同步數據、同步數據的延遲情況及所使用資源組的詳細信息。

  • 執行步驟區域展示當前查看的全增量同步任務,從創建任務到啟動執行離線任務、實時任務的所有流程步驟。您可以在該區域查看所有步驟的執行時間及執行狀態。