本文介紹如何在云消息隊(duì)列 Kafka 版控制臺(tái)查看Connector任務(wù)配置信息、查看Connector日志、啟暫停Connector、修改Connector配置、測(cè)試Connector、查看消費(fèi)詳情和刪除Connector。

前提條件

您已創(chuàng)建以下任意一種Connector:
說(shuō)明 僅FC Sink Connector和MySQL Source Connector支持修改Connector配置。

注意事項(xiàng)

  • 僅FC Sink Connector支持修改Connector配置。
  • DLA Sink Connector的相關(guān)操作,請(qǐng)參見(jiàn)創(chuàng)建DLA Sink Connector
  • 暫停Connector時(shí),Connector需處于運(yùn)行中狀態(tài);啟用Connector時(shí),Connector需處于暫停狀態(tài)。

查看Connector任務(wù)配置

您可以查看已創(chuàng)建的Connector的基礎(chǔ)信息、源實(shí)例配置、目標(biāo)實(shí)例配置等信息。

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表
  4. Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,單擊操作列的詳情。
    在Connector詳情頁(yè)面,顯示Connector的基礎(chǔ)信息、源信息目標(biāo)信息。

查看Connector日志

如果您的Connector出現(xiàn)異常,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)查看Connector的日志以進(jìn)行異常排查。

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
  4. Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其操作列,選擇更多 > 查看日志。
    您也可以在目標(biāo)Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁(yè)面右上角單擊查看日志
    說(shuō)明 操作查看日志位置和任務(wù)狀態(tài)有關(guān),實(shí)際請(qǐng)以界面顯示為準(zhǔn)。
    在查看Connector日志頁(yè)面,查看Connector的日志。

修改Connector配置

成功創(chuàng)建FC Sink Connector或MySQL Source Connector后,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)更新其配置。

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表
  4. Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其操作列,選擇更多 > 修改配置。
    您也可以在目標(biāo)Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁(yè)面右上角單擊修改配置。
  5. 修改配置面板,按需修改配置參數(shù),然后單擊確定。
    • 修改FC Sink Connector配置
      參數(shù)描述
      消費(fèi)線程并發(fā)數(shù)數(shù)據(jù)源Topic的消費(fèi)線程并發(fā)數(shù)。默認(rèn)值為6。取值說(shuō)明如下:
      • 1
      • 2
      • 3
      • 6
      • 12
      失敗處理消息發(fā)送失敗后,是否繼續(xù)訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū)。取值說(shuō)明如下:
      • 繼續(xù)訂閱:繼續(xù)訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū),并打印錯(cuò)誤日志。
      • 停止訂閱:停止訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū),并打印錯(cuò)誤日志。
      說(shuō)明
      發(fā)送模式消息的發(fā)送模式。取值如下:
      • 同步:發(fā)送端和接收端必須同時(shí)處于運(yùn)行狀態(tài),隨時(shí)做好相互通信的準(zhǔn)備。
      • 異步: 發(fā)送端在發(fā)送消息之后可以不用等待服務(wù)端的響應(yīng), 可以接著處理其他任務(wù)。
      發(fā)送批大小批量發(fā)送消息的條數(shù)。

      默認(rèn)值為20,取值范圍為[1,5000]。

      重試次數(shù)消息發(fā)送失敗后的重試次數(shù)。默認(rèn)為2。取值范圍為1~3。部分導(dǎo)致消息發(fā)送失敗的錯(cuò)誤不支持重試。關(guān)于錯(cuò)誤碼的詳細(xì)信息,請(qǐng)參見(jiàn)錯(cuò)誤碼列表。錯(cuò)誤碼與是否支持重試的對(duì)應(yīng)關(guān)系如下:
      • 4xx:除429支持重試外,其余錯(cuò)誤碼不支持重試。
      • 5xx:支持重試。
      說(shuō)明 Connector調(diào)用InvokeFunction向函數(shù)計(jì)算發(fā)送消息。
    • 修改MySQL Source Connector
      參數(shù)描述
      數(shù)據(jù)庫(kù)表需要同步的阿里云數(shù)據(jù)庫(kù)RDS MySQL版實(shí)例數(shù)據(jù)庫(kù)表的名稱,多個(gè)表名以英文逗號(hào)(,)分隔。

      數(shù)據(jù)庫(kù)表和目標(biāo)Topic是一對(duì)一的關(guān)系。

      說(shuō)明 如果是在原任務(wù)基礎(chǔ)上增加或修改表,需提前在云消息隊(duì)列 Kafka 版控制臺(tái)創(chuàng)建與之對(duì)應(yīng)的Topic,即Topic名稱為Topic前綴_數(shù)據(jù)表名,否則會(huì)在運(yùn)行時(shí)出錯(cuò)。創(chuàng)建Topic的具體操作,請(qǐng)參見(jiàn)步驟一:創(chuàng)建Topic。
    修改完成后,在Connector 任務(wù)列表頁(yè)面,找到目標(biāo)Connector。在其操作列,單擊詳情。在Connector 詳情頁(yè)面,查看到更新后的Connector配置。

啟停Connector

如果您需要暫時(shí)中止某個(gè)運(yùn)行中的Connector或恢復(fù)某個(gè)暫停的Connector,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)暫?;騿⒂迷揅onnector。

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
  4. Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,根據(jù)需要暫停或啟用該Connector。
    • 暫停Connector:在其操作列,選擇更多 > 暫停,然后在提示對(duì)話框,確認(rèn)暫停Connector,單擊確認(rèn)
    • 啟用Connector:在其操作列,單擊啟用,然后在提示對(duì)話框,確認(rèn)啟動(dòng)Connector,單擊確認(rèn)。

    您也可以在目標(biāo)Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁(yè)面右上角單擊暫停啟用

    Connector 任務(wù)列表頁(yè)面,找到暫?;騿⒂玫腃onnector,狀態(tài)已變更為已暫停運(yùn)行中。
    說(shuō)明 如果是MySQL Source Connector任務(wù),暫停時(shí)間比較久時(shí),會(huì)出現(xiàn)啟動(dòng)失敗的情況。您可以在目標(biāo)任務(wù)的操作,單擊任務(wù)配置,在DataWorks頁(yè)面,目標(biāo)同步任務(wù)所在行,單擊啟動(dòng)。在啟動(dòng)對(duì)話框,勾選重置位點(diǎn),并配置啟動(dòng)時(shí)間點(diǎn)位,然后單擊確定。

測(cè)試Connector

如果您需要測(cè)試某個(gè)Connector,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)向Connector發(fā)送測(cè)試消息。

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表
  4. Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其右側(cè)操作列,單擊測(cè)試。
    您也可以在目標(biāo)Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁(yè)面右上角單擊測(cè)試。
    說(shuō)明 操作測(cè)試位置和任務(wù)狀態(tài)有關(guān),實(shí)際請(qǐng)以界面顯示為準(zhǔn)。
  5. 發(fā)送消息面板,發(fā)送測(cè)試消息。
    1. 消息 Key文本框中輸入消息的Key值,例如demo。
    2. 消息內(nèi)容文本框輸入測(cè)試的消息內(nèi)容,例如 {"key": "test"}。
    3. 設(shè)置發(fā)送到指定分區(qū),選擇是否指定分區(qū)。
      • 單擊,在分區(qū) ID文本框中輸入分區(qū)的ID,例如0。如果您需查詢分區(qū)的ID,請(qǐng)參見(jiàn)查看分區(qū)狀態(tài)。
      • 單擊,不指定分區(qū)。

查看消費(fèi)進(jìn)度

Connector任務(wù)創(chuàng)建完成并開(kāi)始運(yùn)行后,您可以查看Connector數(shù)據(jù)同步任務(wù)使用的Group在數(shù)據(jù)源Topic中的消費(fèi)情況。其中,Group的名稱為connect-{任務(wù)名稱}。

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
  4. Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其操作列,單擊消費(fèi)進(jìn)度。
    您也可以在目標(biāo)Connector任務(wù)名稱處單擊或在其操作列單擊詳情,然后在Connector詳情頁(yè)面右上角單擊消費(fèi)進(jìn)度。
    Group消費(fèi)詳情面板,您可以查看Connector任務(wù)使用的Group在數(shù)據(jù)源Topic中的消費(fèi)詳情。

刪除Connector

云消息隊(duì)列 Kafka 版限制了每個(gè)實(shí)例的Connector數(shù)量。如果您不再需要某個(gè)Connector,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)刪除該Connector。

重要
  • 如果MySQL Source Connector任務(wù)處于運(yùn)行狀態(tài),在云消息隊(duì)列 Kafka 版控制臺(tái)將無(wú)法直接刪除,您需登錄DataWorks控制臺(tái)停止并下線Connector任務(wù),然后提交工單清理云消息隊(duì)列 Kafka 版Connector任務(wù)的元信息。其他FC Sink Connector、MaxCompute Sink Connector、OSS Sink Connector以及Elasticsearch Sink Connector任務(wù),均可在云消息隊(duì)列 Kafka 版控制臺(tái)直接刪除。
  • 當(dāng)刪除Connector時(shí),系統(tǒng)會(huì)同時(shí)刪除該Connector依賴的5個(gè)Topic和2個(gè)Group,無(wú)論這些資源當(dāng)時(shí)是自動(dòng)創(chuàng)建的還是手動(dòng)創(chuàng)建的。
  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
  4. Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其操作列,選擇更多 > 刪除。
    您也可以在目標(biāo)Connector任務(wù)名稱處單擊或在其操作列單擊詳情,然后在Connector詳情頁(yè)面右上角單擊刪除。
  5. 提示對(duì)話框,單擊確認(rèn),刪除Connector。