日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

管理導入任務

導入任務是EMR StarRocks Manager中的一個功能模塊,旨在降低用戶在導入任務管理方面的運維成本,提供可視化的導入任務管理能力。本文為您介紹如何使用EMR StarRocks Manager管理導入任務。

背景信息

該頁面的數據來自于使用StarRocks內核提供的查詢命令(例如show load)所得到的結果,這些數據的生命周期與內核中數據存儲的生命周期相同。

該功能適用于以下場景:

  • 查看某一個導入任務的數據導入情況,包括已導入的數據條數和數據大小等信息。

  • 查看某一個導入失敗任務的錯誤情況,以及原因分析。

  • 如果表數據出現錯誤或延遲,需要從導入任務做排查,以看到任務是否正在運行,是否存在延遲等情況。

前提條件

已連接對應的實例,詳情請參見SQL Editor

使用限制

該功能僅支持2.5.8-1.7-1.1.3及之后版本使用。

查看導入任務列表

重要

如果要查看Stream Load任務的信息,需要在導入任務前在StarRocks實例中設置set global enable_load_profile = true,才能看到任務信息。

在EMR StarRocks Manager的導入任務頁面,支持:

  • 查看Broker Load、RoutineLoad、Stream Load和Insert導入任務。

  • 根據任務ID、任務創建時間進行升降序排序。

  • 通過計算組、數據庫名、數據表名、任務ID、狀態和標簽篩選任務。

    狀態說明如下表。

    Broker Load

    狀態

    說明

    終態

    FINISHED

    導入任務成功。

    CANCELLED

    導入任務失敗。

    非終態

    QUEUEING

    導入任務正在等待執行中。

    PENDING

    導入任務已創建。

    LOADING

    導入任務正在執行中。

    PREPARED

    導入任務已提交。

    Routine Load

    狀態

    說明

    終態

    STOPPED

    導入任務停止。

    CANCELLED

    導入任務失敗。

    非終態

    NEED_SCHEDULE

    等待任務調度。

    RUNNING

    導入任務正在執行中。

    PAUSED

    導入任務暫停。

    Stream Load

    狀態

    說明

    終態

    FINISHED

    導入任務成功。

    CANCELLED

    導入任務失敗。

    非終態

    BEGIN

    開始導入任務。

    BEFORE_LOAD

    準備寫入數據。

    LOADING

    寫入數據。

    PREPARING

    預提交導入任務。

    PREPARED

    預提交導入任務成功。

    COMMITED

    提交導入任務。

    Insert任務

    說明

    僅限于內表的Insert任務。

    狀態

    說明

    終態

    FINISHED

    導入任務成功。

    CANCELLED

    導入任務失敗。

    非終態

    QUEUEING

    導入任務正在等待執行中。

    PENDING

    導入任務已創建。

    LOADING

    導入任務正在執行中。

    PREPARED

    導入任務已提交。

查看導入任務詳情

在EMR StarRocks Manager的導入任務頁面,單擊目標任務ID,在任務詳情頁面,可以查看任務詳情。

如果有導入失敗的任務,您可以查看詳細的錯誤日志。各導入任務部分字段名介紹如下。

Broker Load

字段名

說明

etlInfo

ETL(Extract Transform Load)信息。

taskInfo

創建導入任務時指定的參數,包括:

  • resource:該參數在Broker Load導入任務中無實際意義。

  • timeout:導入任務的超時時間。單位:秒。

  • max-filter-ratio:導入任務的最大容忍率,即導入任務能夠容忍的因數據不規范等原因而過濾掉的數據行所占的最大比例。

jobDetails

導入任務的詳細信息,包括任務數量、文件數量和大小、數據量、行數等。

errorMessage

導入任務的失敗原因。當導入任務的狀態為PENDING,LOADING或FINISHED時,該參數值為NULL。當導入任務的狀態為CANCELLED時,該參數值包括type和msg兩部分:

  • type:

    • USER_CANCEL:導入任務被手動取消。

    • ETL_SUBMIT_FAIL:導入任務提交失敗。

    • ETL_QUALITY_UNSATISFIED:數據質量不合格,即導入任務的錯誤數據率超過了max-filter-ratio。

    • LOAD_RUN_FAIL:導入任務在LOAD階段失敗。

    • TIMEOUT:導入任務未在允許的超時時間內完成。

    • UNKNOWN:未知的導入錯誤。

  • msg:顯示有關失敗原因的詳細信息。

trackingSQL

查詢錯誤日志的SQL。

trackingLogs

詳細錯誤日志。

Routine Load

字段名

說明

jobProperties

任務屬性,包括一些配置信息等。

dataSourceProperties

數據源屬性。

customProperties

自定義屬性。

statistics

統計信息(包括行數、數據量等)。

reasonOfStateChanged

狀態改變原因。

errorLogUrls

錯誤日志鏈接。

otherMsg

其他信息。

trackingSQL

查詢錯誤日志的SQL。

trackingLogs

詳細錯誤日志。

Stream Load

字段名

說明

errorMessage

錯誤信息。

trackingSQL

查詢錯誤日志的SQL。

trackingLogs

詳細錯誤日志。

Insert任務

字段名

說明

etlInfo

ETL(Extract Transform Load)信息。

taskInfo

創建導入任務時指定的參數,包括:

  • resource:該參數在Insert導入任務中無實際意義。

  • timeout:導入任務的超時時間。單位:秒。

  • max-filter-ratio:導入任務的最大容忍率,即導入任務能夠容忍的因數據不規范等原因而過濾掉的數據行所占的最大比例。

jobDetails

導入任務的詳細信息,包括任務數量、文件數量和大小、數據量、行數等。

errorMessage

導入任務的失敗原因。當導入任務的狀態為PENDING,LOADING或FINISHED時,該參數值為NULL。當導入任務的狀態為CANCELLED時,該參數值包括type和msg兩部分:

  • type:

    • USER_CANCEL:導入任務被手動取消。

    • ETL_SUBMIT_FAIL:導入任務提交失敗。

    • ETL_QUALITY_UNSATISFIED:數據質量不合格,即導入任務的錯誤數據率超過了max-filter-ratio。

    • LOAD_RUN_FAIL:導入任務在LOAD階段失敗。

    • TIMEOUT:導入任務未在允許的超時時間內完成。

    • UNKNOWN:未知的導入錯誤。

  • msg:顯示有關失敗原因的詳細信息。

trackingSQL

查詢錯誤日志的SQL。

trackingLogs

詳細錯誤日志。

查看導入任務Profile

在EMR StarRocks Manager的導入任務頁面,單擊目標任務ID,在任務Profile頁面,可以查看導入任務Profile。

支持查看最近500條BrokerLoad和StreamLoad導入任務的Profile。

說明

StarRocks實例最多保留最近500條導入任務的Profile。由于Stream Load在高頻實時導入場景下會產生大量小任務,默認限制超過10s的Stream Load任務才會采集Profile。

操作導入任務

您可以在EMR StarRocks Manager的導入任務頁面,對非終態的Broker Load、Routine Load導入任務進行操作。

任務類型

操作

說明

Broker Load

取消

導入任務會進入CANCELLED狀態。

Routine Load

暫停

導入任務會進入PAUSED狀態,但是導入任務未結束,可以通過恢復操作來重啟導入任務。

恢復

導入任務會先短暫地進入NEED_SCHEDULE狀態,表示正在重新調度導入任務,一段時間后會恢復至RUNNING狀態,繼續消費Kafka消息并且導入數據。

停止

導入任務會進入STOPPED狀態,代表此導入任務已經結束,且無法恢復。

導入任務示例

  1. 創建兩個Broker Load任務,詳情請參見Broker Load

    第二個導入任務,您可以修改數據表,手動造一些臟數據,用來模擬導入失敗的情況。

    如果創建其他方式的導入任務,請參見Insert IntoRoutine LoadStream Load

  2. 進入StarRocks Manager頁面。

    1. 登錄E-MapReduce控制臺

    2. 在左側導航欄,選擇EMR Serverless > StarRocks

    3. 在頂部菜單欄處,根據實際情況選擇地域。

    4. 單擊StarRocks Manager,或者單擊已創建實例操作列的連接實例

      連接StarRocks實例詳情,請參見通過EMR StarRocks Manager連接StarRocks實例

  3. 連接StarRocks實例,詳情請參見SQL Editor

  4. 在左側導航欄,單擊導入任務

    該頁面為您展示當前賬號下所有的導入任務信息。

    當任務狀態為CANCELLED時,將鼠標懸停在任務狀態處可查看簡要的錯誤信息,如需查看詳細錯誤日志,請進入到任務詳情頁面查看。

  5. 單擊待查看的導入任務類型。

    默認展示Broker Load任務類型。

  6. 單擊待查看的任務ID

    該頁面為您展示該導入任務的任務詳情和任務Profile。