本文介紹如何在云消息隊列 Kafka 版控制臺查看Connector任務配置信息、查看Connector日志、啟暫停Connector、修改Connector配置、測試Connector、查看消費詳情和刪除Connector。

前提條件

您已創建以下任意一種Connector：
說明 僅FC Sink Connector和MySQL Source Connector支持修改Connector配置。

注意事項

  • 僅FC Sink Connector支持修改Connector配置。
  • DLA Sink Connector的相關操作，請參見創建DLA Sink Connector。
  • 暫停Connector時，Connector需處于運行中狀態；啟用Connector時，Connector需處于暫停狀態。

查看Connector任務配置

您可以查看已創建的Connector的基礎信息、源實例配置、目標實例配置等信息。

  1. 登錄云消息隊列 Kafka 版控制臺。
  2. 在概覽頁面的資源分布區域，選擇地域。
  3. 在左側導航欄，單擊Connector 任務列表。
  4. 在Connector 任務列表頁面，從選擇實例的下拉列表選擇Connector所屬的實例，在實例下的Connector列表中找到目標Connector，單擊操作列的詳情。
    在Connector詳情頁面，顯示Connector的基礎信息、源信息和目標信息。

查看Connector日志

如果您的Connector出現異常，您可以在云消息隊列 Kafka 版控制臺查看Connector的日志以進行異常排查。

  1. 登錄云消息隊列 Kafka 版控制臺。
  2. 在概覽頁面的資源分布區域，選擇地域。
  3. 在左側導航欄，單擊Connector 任務列表。
  4. 在Connector 任務列表頁面，從選擇實例的下拉列表選擇Connector所屬的實例，在實例下的Connector列表中找到目標Connector，在其操作列，選擇更多 > 查看日志。
    您也可以在目標Connector名稱處單擊或在其操作列，單擊詳情，然后在Connector詳情頁面右上角單擊查看日志。
    說明 操作列查看日志位置和任務狀態有關，實際請以界面顯示為準。
    在查看Connector日志頁面，查看Connector的日志。

修改Connector配置

成功創建FC Sink Connector或MySQL Source Connector后，您可以在云消息隊列 Kafka 版控制臺更新其配置。

  1. 登錄云消息隊列 Kafka 版控制臺。
  2. 在概覽頁面的資源分布區域，選擇地域。
  3. 在左側導航欄，單擊Connector 任務列表。
  4. 在Connector 任務列表頁面，從選擇實例的下拉列表選擇Connector所屬的實例，在實例下的Connector列表中找到目標Connector，在其操作列，選擇更多 > 修改配置。
    您也可以在目標Connector名稱處單擊或在其操作列，單擊詳情，然后在Connector詳情頁面右上角單擊修改配置。
  5. 在修改配置面板，按需修改配置參數，然后單擊確定。
    • 修改FC Sink Connector配置
      參數描述
      消費線程并發數數據源Topic的消費線程并發數。默認值為6。取值說明如下：
      • 1
      • 2
      • 3
      • 6
      • 12
      失敗處理消息發送失敗后，是否繼續訂閱出現錯誤的Topic的分區。取值說明如下：
      • 繼續訂閱：繼續訂閱出現錯誤的Topic的分區，并打印錯誤日志。
      • 停止訂閱：停止訂閱出現錯誤的Topic的分區，并打印錯誤日志。
      說明
      發送模式消息的發送模式。取值如下：
      • 同步：發送端和接收端必須同時處于運行狀態，隨時做好相互通信的準備。
      • 異步： 發送端在發送消息之后可以不用等待服務端的響應， 可以接著處理其他任務。
      發送批大小批量發送消息的條數。

      默認值為20，取值范圍為[1,5000]。

      重試次數消息發送失敗后的重試次數。默認為2。取值范圍為1~3。部分導致消息發送失敗的錯誤不支持重試。關于錯誤碼的詳細信息，請參見錯誤碼列表。錯誤碼與是否支持重試的對應關系如下：
      • 4xx：除429支持重試外，其余錯誤碼不支持重試。
      • 5xx：支持重試。
      說明 Connector調用InvokeFunction向函數計算發送消息。
    • 修改MySQL Source Connector
      參數描述
      數據庫表需要同步的阿里云數據庫RDS MySQL版實例數據庫表的名稱，多個表名以英文逗號（,）分隔。

      數據庫表和目標Topic是一對一的關系。

      說明 如果是在原任務基礎上增加或修改表，需提前在云消息隊列 Kafka 版控制臺創建與之對應的Topic，即Topic名稱為Topic前綴_數據表名，否則會在運行時出錯。創建Topic的具體操作，請參見步驟一：創建Topic。
    修改完成后，在Connector 任務列表頁面，找到目標Connector。在其操作列，單擊詳情。在Connector 詳情頁面，查看到更新后的Connector配置。

啟停Connector

如果您需要暫時中止某個運行中的Connector或恢復某個暫停的Connector，您可以在云消息隊列 Kafka 版控制臺暫?；騿⒂迷揅onnector。

  1. 登錄云消息隊列 Kafka 版控制臺。
  2. 在概覽頁面的資源分布區域，選擇地域。
  3. 在左側導航欄，單擊Connector 任務列表。
  4. 在Connector 任務列表頁面，從選擇實例的下拉列表選擇Connector所屬的實例，在實例下的Connector列表中找到目標Connector，根據需要暫?；騿⒂迷揅onnector。
    • 暫停Connector：在其操作列，選擇更多 > 暫停，然后在提示對話框，確認暫停Connector，單擊確認。
    • 啟用Connector：在其操作列，單擊啟用，然后在提示對話框，確認啟動Connector，單擊確認。

    您也可以在目標Connector名稱處單擊或在其操作列，單擊詳情，然后在Connector詳情頁面右上角單擊暫停或啟用。

    在Connector 任務列表頁面，找到暫?；騿⒂玫腃onnector，狀態已變更為已暫停或運行中。
    說明 如果是MySQL Source Connector任務，暫停時間比較久時，會出現啟動失敗的情況。您可以在目標任務的操作，單擊任務配置，在DataWorks頁面，目標同步任務所在行，單擊啟動。在啟動對話框，勾選重置位點，并配置啟動時間點位，然后單擊確定。

測試Connector

如果您需要測試某個Connector，您可以在云消息隊列 Kafka 版控制臺向Connector發送測試消息。

  1. 登錄云消息隊列 Kafka 版控制臺。
  2. 在概覽頁面的資源分布區域，選擇地域。
  3. 在左側導航欄，單擊Connector 任務列表。
  4. 在Connector 任務列表頁面，從選擇實例的下拉列表選擇Connector所屬的實例，在實例下的Connector列表中找到目標Connector，在其右側操作列，單擊測試。
    您也可以在目標Connector名稱處單擊或在其操作列，單擊詳情，然后在Connector詳情頁面右上角單擊測試。
    說明 操作列測試位置和任務狀態有關，實際請以界面顯示為準。
  5. 在發送消息面板，發送測試消息。
    1. 在消息 Key文本框中輸入消息的Key值，例如demo。
    2. 在消息內容文本框輸入測試的消息內容，例如 {"key": "test"}。
    3. 設置發送到指定分區，選擇是否指定分區。
      • 單擊是，在分區 ID文本框中輸入分區的ID，例如0。如果您需查詢分區的ID，請參見查看分區狀態。
      • 單擊否，不指定分區。

查看消費進度

Connector任務創建完成并開始運行后，您可以查看Connector數據同步任務使用的Group在數據源Topic中的消費情況。其中，Group的名稱為connect-{任務名稱}。

  1. 登錄云消息隊列 Kafka 版控制臺。
  2. 在概覽頁面的資源分布區域，選擇地域。
  3. 在左側導航欄，單擊Connector 任務列表。
  4. 在Connector 任務列表頁面，從選擇實例的下拉列表選擇Connector所屬的實例，在實例下的Connector列表中找到目標Connector，在其操作列，單擊消費進度。
    您也可以在目標Connector任務名稱處單擊或在其操作列單擊詳情，然后在Connector詳情頁面右上角單擊消費進度。
    在Group消費詳情面板，您可以查看Connector任務使用的Group在數據源Topic中的消費詳情。

刪除Connector

云消息隊列 Kafka 版限制了每個實例的Connector數量。如果您不再需要某個Connector，您可以在云消息隊列 Kafka 版控制臺刪除該Connector。

重要
  • 如果MySQL Source Connector任務處于運行狀態，在云消息隊列 Kafka 版控制臺將無法直接刪除，您需登錄DataWorks控制臺停止并下線Connector任務，然后提交工單清理云消息隊列 Kafka 版Connector任務的元信息。其他FC Sink Connector、MaxCompute Sink Connector、OSS Sink Connector以及Elasticsearch Sink Connector任務，均可在云消息隊列 Kafka 版控制臺直接刪除。
  • 當刪除Connector時，系統會同時刪除該Connector依賴的5個Topic和2個Group，無論這些資源當時是自動創建的還是手動創建的。
  1. 登錄云消息隊列 Kafka 版控制臺。
  2. 在概覽頁面的資源分布區域，選擇地域。
  3. 在左側導航欄，單擊Connector 任務列表。
  4. 在Connector 任務列表頁面，從選擇實例的下拉列表選擇Connector所屬的實例，在實例下的Connector列表中找到目標Connector，在其操作列，選擇更多 > 刪除。
    您也可以在目標Connector任務名稱處單擊或在其操作列單擊詳情，然后在Connector詳情頁面右上角單擊刪除。
  5. 在提示對話框，單擊確認，刪除Connector。