本文說明如何創建云原生數據湖分析（Data Lake Analytics）Sink Connector，簡稱DLA Sink Connector，實現將云消息隊列 Kafka 版數據同步至DLA分析計算。

前提條件

  • 云原生數據湖分析（DLA）
  • 云消息隊列 Kafka 版
    • 已創建實例。具體操作，請參見創建實例。
    • 已創建Topic。具體操作，請參見創建Topic。
    • 已給創建的Topic發送消息。具體操作，請參見發送消息。

創建DLA Sink Connector

  1. 登錄云消息隊列 Kafka 版控制臺。
  2. 在概覽頁面的資源分布區域，選擇地域。
  3. 在左側導航欄，單擊Connector 任務列表。
  4. 在Connector 任務列表頁面，從選擇實例的下拉列表選擇Connector所屬的實例，然后單擊創建 Connector。
  5. 在創建 Connector配置向導頁面，完成以下操作。
    1. 在配置基本信息頁簽，按需配置以下參數，然后單擊下一步。
      參數描述示例值
      名稱Connector的名稱。命名規則：
      • 可以包含數字、小寫英文字母和短劃線（-），但不能以短劃線（-）開頭，長度限制為48個字符。
      • 同一個云消息隊列 Kafka 版實例內保持唯一。

      Connector的數據同步任務必須使用名稱為connect-任務名稱的Group。如果您未手動創建該Group，系統將為您自動創建。

      		dla-test
      實例默認配置為實例的名稱與實例ID。demo alikafka_post-cn-st21p8vj****
    2. 在配置源服務頁簽，選擇數據源為消息隊列Kafka版，并配置以下參數，其余配置運行環境參數無需關注，然后單擊下一步。
      參數描述示例值
      數據源 Topic需要同步數據的Topic名稱。dla-test
      消費初始位置開始消費的位置。取值說明如下：
      • 最早位點：從最初位點開始消費。
      • 最近位點：從最新位點開始消費。
      		最早位點
    3. 在配置目標服務頁簽，選擇目標服務為實時日志數據湖分析，并配置以下參數，然后單擊創建。
      參數描述示例值
      庫名同步至DLA的庫名稱，不能和已有庫同名。庫名以字符開頭，可包含字符、數字、下劃線（_）。dla_fromkafka
      表名同步至DLA的表名。默認使用云消息隊列 Kafka 版的Topic名稱作為表名，且把除去字母及數字的字符替換為下劃線（_）。例如Topic名稱為dla-test，表名默認變更為dla_test。dla_test
    4. 在使用必讀：創建尚未完成，請在 DLA 控制臺完成配置！對話框，認真閱讀提示信息，單擊立即配置，跳轉至Data Lake Analytics控制臺。
  6. 如果沒有創建湖倉， 跳轉至Lakehouse湖倉一體化頁面，創建入湖湖倉；如果已經創建湖倉，跳轉至新建工作負載頁面，在Kafka數據源頁簽，創建入湖工作負載，并啟用工作負載進行數據分析。具體操作，請參見Kafka實時入湖建倉分析。
    在云消息隊列 Kafka 版控制臺的Connector 任務列表頁面，您也可以查看創建的DLA Sink Connector任務。在操作列，還可以進行以下操作：
    • 單擊詳情，您可以查看DLA Sink Connector任務的配置信息。
    • 單擊查看任務，跳轉至Data Lake Analytics控制臺，啟用工作負載進行數據分析。
    • 單擊刪除，您可以清理任務。