本文介紹如何通過(guò)創(chuàng)建Tablestore Sink Connector,將數(shù)據(jù)從云消息隊(duì)列 Kafka 版實(shí)例的數(shù)據(jù)源Topic導(dǎo)出至表格存儲(chǔ)(Tablestore)。

前提條件

注意事項(xiàng)

  • 僅支持在同地域內(nèi),將數(shù)據(jù)從云消息隊(duì)列 Kafka 版實(shí)例的數(shù)據(jù)源Topic導(dǎo)出至表格存儲(chǔ)。Connector的限制說(shuō)明,請(qǐng)參見(jiàn)使用限制
  • 創(chuàng)建Connector時(shí),云消息隊(duì)列 Kafka 版會(huì)為您自動(dòng)創(chuàng)建服務(wù)關(guān)聯(lián)角色。
    • 如果未創(chuàng)建服務(wù)關(guān)聯(lián)角色,云消息隊(duì)列 Kafka 版會(huì)為您自動(dòng)創(chuàng)建一個(gè)服務(wù)關(guān)聯(lián)角色,以便您使用云消息隊(duì)列 Kafka 版導(dǎo)出數(shù)據(jù)至表格存儲(chǔ)的功能。
    • 如果已創(chuàng)建服務(wù)關(guān)聯(lián)角色,云消息隊(duì)列 Kafka 版不會(huì)重復(fù)創(chuàng)建。
    關(guān)于服務(wù)關(guān)聯(lián)角色的更多信息,請(qǐng)參見(jiàn)服務(wù)關(guān)聯(lián)角色

操作流程

使用Tablestore Sink Connector將數(shù)據(jù)從云消息隊(duì)列 Kafka 版實(shí)例的數(shù)據(jù)源Topic導(dǎo)出至表格存儲(chǔ)操作流程如下:

  1. 可選:創(chuàng)建Tablestore Sink Connector依賴的Topic和Group

    如果您不需要自定義Topic和Group,您可以直接跳過(guò)該步驟,在下一步驟選擇自動(dòng)創(chuàng)建。

    重要 部分Tablestore Sink Connector依賴的Topic的存儲(chǔ)引擎必須為L(zhǎng)ocal存儲(chǔ),大版本為0.10.2的云消息隊(duì)列 Kafka 版實(shí)例不支持手動(dòng)創(chuàng)建Local存儲(chǔ)的Topic,只支持自動(dòng)創(chuàng)建。
    1. 創(chuàng)建Tablestore Sink Connector依賴的Topic
    2. 創(chuàng)建Tablestore Sink Connector依賴的Group
  2. 創(chuàng)建并部署Tablestore Sink Connector
  3. 結(jié)果驗(yàn)證
    1. 發(fā)送測(cè)試消息
    2. 查看表數(shù)據(jù)

創(chuàng)建Tablestore Sink Connector依賴的Topic

您可以在云消息隊(duì)列 Kafka 版控制臺(tái)手動(dòng)創(chuàng)建Tablestore Sink Connector依賴的5個(gè)Topic,包括:任務(wù)位點(diǎn)Topic、任務(wù)配置Topic、任務(wù)狀態(tài)Topic、死信隊(duì)列Topic以及異常數(shù)據(jù)Topic。每個(gè)Topic所需要滿足的分區(qū)數(shù)與存儲(chǔ)引擎會(huì)有差異,具體信息,請(qǐng)參見(jiàn)配置源服務(wù)參數(shù)列表

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
    重要 Topic需要在應(yīng)用程序所在的地域(即所部署的ECS的所在地域)進(jìn)行創(chuàng)建。Topic不能跨地域使用。例如Topic創(chuàng)建在華北2(北京)這個(gè)地域,那么消息生產(chǎn)端和消費(fèi)端也必須運(yùn)行在華北2(北京)的ECS。
  3. 實(shí)例列表頁(yè)面,單擊目標(biāo)實(shí)例名稱。
  4. 在左側(cè)導(dǎo)航欄,單擊Topic 管理
  5. Topic 管理頁(yè)面,單擊創(chuàng)建 Topic
  6. 創(chuàng)建 Topic面板,設(shè)置Topic屬性,然后單擊確定
    創(chuàng)建Topic
    參數(shù)說(shuō)明示例
    名稱Topic名稱。demo
    描述Topic的簡(jiǎn)單描述。demo test
    分區(qū)數(shù)Topic的分區(qū)數(shù)量。12
    存儲(chǔ)引擎
    說(shuō)明 當(dāng)前僅專業(yè)版實(shí)例支持選擇存儲(chǔ)引擎類型,標(biāo)準(zhǔn)版暫不支持,默認(rèn)選擇為云存儲(chǔ)類型。
    Topic消息的存儲(chǔ)引擎。

    云消息隊(duì)列 Kafka 版支持以下兩種存儲(chǔ)引擎。

    • 云存儲(chǔ):底層接入阿里云云盤,具有低時(shí)延、高性能、持久性、高可靠等特點(diǎn),采用分布式3副本機(jī)制。實(shí)例的規(guī)格類型標(biāo)準(zhǔn)版(高寫版)時(shí),存儲(chǔ)引擎只能為云存儲(chǔ)
    • Local 存儲(chǔ):使用原生Kafka的ISR復(fù)制算法,采用分布式3副本機(jī)制。
    云存儲(chǔ)
    消息類型Topic消息的類型。
    • 普通消息:默認(rèn)情況下,保證相同Key的消息分布在同一個(gè)分區(qū)中,且分區(qū)內(nèi)消息按照發(fā)送順序存儲(chǔ)。集群中出現(xiàn)機(jī)器宕機(jī)時(shí),可能會(huì)造成消息亂序。當(dāng)存儲(chǔ)引擎選擇云存儲(chǔ)時(shí),默認(rèn)選擇普通消息
    • 分區(qū)順序消息:默認(rèn)情況下,保證相同Key的消息分布在同一個(gè)分區(qū)中,且分區(qū)內(nèi)消息按照發(fā)送順序存儲(chǔ)。集群中出現(xiàn)機(jī)器宕機(jī)時(shí),仍然保證分區(qū)內(nèi)按照發(fā)送順序存儲(chǔ)。但是會(huì)出現(xiàn)部分分區(qū)發(fā)送消息失敗,等到分區(qū)恢復(fù)后即可恢復(fù)正常。當(dāng)存儲(chǔ)引擎選擇Local 存儲(chǔ)時(shí),默認(rèn)選擇分區(qū)順序消息
    普通消息
    日志清理策略Topic日志的清理策略。

    當(dāng)存儲(chǔ)引擎選擇Local 存儲(chǔ)(當(dāng)前僅專業(yè)版實(shí)例支持選擇存儲(chǔ)引擎類型為L(zhǎng)ocal存儲(chǔ),標(biāo)準(zhǔn)版暫不支持)時(shí),需要配置日志清理策略

    云消息隊(duì)列 Kafka 版支持以下兩種日志清理策略。

    • Delete:默認(rèn)的消息清理策略。在磁盤容量充足的情況下,保留在最長(zhǎng)保留時(shí)間范圍內(nèi)的消息;在磁盤容量不足時(shí)(一般磁盤使用率超過(guò)85%視為不足),將提前刪除舊消息,以保證服務(wù)可用性。
    • Compact:使用Kafka Log Compaction日志清理策略。Log Compaction清理策略保證相同Key的消息,最新的value值一定會(huì)被保留。主要適用于系統(tǒng)宕機(jī)后恢復(fù)狀態(tài),系統(tǒng)重啟后重新加載緩存等場(chǎng)景。例如,在使用Kafka Connect或Confluent Schema Registry時(shí),需要使用Kafka Compact Topic存儲(chǔ)系統(tǒng)狀態(tài)信息或配置信息。
      重要 Compact Topic一般只用在某些生態(tài)組件中,例如Kafka Connect或Confluent Schema Registry,其他情況的消息收發(fā)請(qǐng)勿為Topic設(shè)置該屬性。具體信息,請(qǐng)參見(jiàn)云消息隊(duì)列 Kafka 版Demo庫(kù)
    Compact
    標(biāo)簽Topic的標(biāo)簽。demo
    創(chuàng)建完成后,在Topic 管理頁(yè)面的列表中顯示已創(chuàng)建的Topic。

創(chuàng)建Tablestore Sink Connector依賴的Group

您可以在云消息隊(duì)列 Kafka 版控制臺(tái)手動(dòng)創(chuàng)建Tablestore Sink Connector數(shù)據(jù)同步任務(wù)使用的Group。該Group的名稱必須為connect-任務(wù)名稱,具體信息,請(qǐng)參見(jiàn)配置源服務(wù)參數(shù)列表

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 實(shí)例列表頁(yè)面,單擊目標(biāo)實(shí)例名稱。
  4. 在左側(cè)導(dǎo)航欄,單擊Group 管理
  5. Group 管理頁(yè)面,單擊創(chuàng)建 Group
  6. 創(chuàng)建 Group面板的Group ID文本框輸入Group的名稱,在描述文本框簡(jiǎn)要描述Group,并給Group添加標(biāo)簽,單擊確定
    創(chuàng)建完成后,在Group 管理頁(yè)面的列表中顯示已創(chuàng)建的Group。

創(chuàng)建并部署Tablestore Sink Connector

創(chuàng)建并部署將數(shù)據(jù)從云消息隊(duì)列 Kafka 版同步至表格存儲(chǔ)的Tablestore Sink Connector。

  1. 登錄云消息隊(duì)列 Kafka 版控制臺(tái)
  2. 概覽頁(yè)面的資源分布區(qū)域,選擇地域。
  3. 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表
  4. Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,然后單擊創(chuàng)建 Connector
  5. 創(chuàng)建 Connector配置向?qū)ы?yè)面,完成以下操作。
    1. 配置基本信息頁(yè)簽,按需配置以下參數(shù),然后單擊下一步
      參數(shù)描述示例值
      名稱Connector的名稱。命名規(guī)則:
      • 可以包含數(shù)字、小寫英文字母和短劃線(-),但不能以短劃線(-)開(kāi)頭,長(zhǎng)度限制為48個(gè)字符。
      • 同一個(gè)云消息隊(duì)列 Kafka 版實(shí)例內(nèi)保持唯一。

      Connector的數(shù)據(jù)同步任務(wù)必須使用名稱為connect-任務(wù)名稱Group。如果您未手動(dòng)創(chuàng)建該Group,系統(tǒng)將為您自動(dòng)創(chuàng)建。

      kafka-ts-sink
      實(shí)例默認(rèn)配置為實(shí)例的名稱與實(shí)例ID。demo alikafka_post-cn-st21p8vj****
    2. 配置源服務(wù)頁(yè)簽,選擇數(shù)據(jù)源消息隊(duì)列Kafka版,并配置以下參數(shù),然后單擊下一步
      說(shuō)明 如果您已創(chuàng)建好Topic和Group,那么請(qǐng)選擇手動(dòng)創(chuàng)建資源,并填寫已創(chuàng)建的資源信息。否則,請(qǐng)選擇自動(dòng)創(chuàng)建資源。
      表 1. 配置源服務(wù)參數(shù)列表
      參數(shù)描述示例值
      數(shù)據(jù)源 Topic需要同步數(shù)據(jù)的Topic。ts-test-input
      消費(fèi)線程并發(fā)數(shù)數(shù)據(jù)源Topic的消費(fèi)線程并發(fā)數(shù)。默認(rèn)值為6。取值說(shuō)明如下:
      • 1
      • 2
      • 3
      • 6
      • 12
      6
      消費(fèi)初始位置開(kāi)始消費(fèi)的位置。取值說(shuō)明如下:
      • 最早位點(diǎn):從最初位點(diǎn)開(kāi)始消費(fèi)。
      • 最近位點(diǎn):從最新位點(diǎn)開(kāi)始消費(fèi)。
      最早位點(diǎn)
      VPC ID數(shù)據(jù)同步任務(wù)所在的VPC。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。默認(rèn)為云消息隊(duì)列 Kafka 版實(shí)例所在的VPC,您無(wú)需填寫。vpc-bp1xpdnd3l***
      vSwitch ID數(shù)據(jù)同步任務(wù)所在的交換機(jī)。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。該交換機(jī)必須與云消息隊(duì)列 Kafka 版實(shí)例處于同一VPC。默認(rèn)為部署云消息隊(duì)列 Kafka 版實(shí)例時(shí)填寫的交換機(jī)。vsw-bp1d2jgg81***
      失敗處理消息發(fā)送失敗后,是否繼續(xù)訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū)。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。取值說(shuō)明如下。
      • 繼續(xù)訂閱:繼續(xù)訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū),并打印錯(cuò)誤日志。
      • 停止訂閱:停止訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū),并打印錯(cuò)誤日志
      說(shuō)明
      繼續(xù)訂閱
      創(chuàng)建資源方式選擇創(chuàng)建Connector所依賴的Topic與Group的方式。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。
      • 自動(dòng)創(chuàng)建
      • 手動(dòng)創(chuàng)建
      自動(dòng)創(chuàng)建
      Connector 消費(fèi)組Connector的數(shù)據(jù)同步任務(wù)使用的Group。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。該Group的名稱必須為connect-任務(wù)名稱connect-cluster-kafka-ots-sink
      任務(wù)位點(diǎn) Topic用于存儲(chǔ)消費(fèi)位點(diǎn)的Topic。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。
      • Topic:建議以connect-offset開(kāi)頭。
      • 分區(qū)數(shù):Topic的分區(qū)數(shù)量必須大于1。
      • 存儲(chǔ)引擎:Topic的存儲(chǔ)引擎必須為L(zhǎng)ocal存儲(chǔ)。
      • cleanup.policy:Topic的日志清理策略必須為compact。
      connect-offset-kafka-ots-sink
      任務(wù)配置 Topic用于存儲(chǔ)任務(wù)配置的Topic。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。
      • Topic:建議以connect-config開(kāi)頭。
      • 分區(qū)數(shù):Topic的分區(qū)數(shù)量必須為1。
      • 存儲(chǔ)引擎:Topic的存儲(chǔ)引擎必須為L(zhǎng)ocal存儲(chǔ)。
      • cleanup.policy:Topic的日志清理策略必須為compact。
      connect-config-kafka-ots-sink
      任務(wù)狀態(tài) Topic用于存儲(chǔ)任務(wù)狀態(tài)的Topic。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。
      • Topic:建議以connect-status開(kāi)頭。
      • 分區(qū)數(shù):Topic的分區(qū)數(shù)量建議為6。
      • 存儲(chǔ)引擎:Topic的存儲(chǔ)引擎必須為L(zhǎng)ocal存儲(chǔ)。
      • cleanup.policy:Topic的日志清理策略必須為compact。
      connect-status-kafka-ots-sink
      死信隊(duì)列 Topic用于存儲(chǔ)Connect框架的異常數(shù)據(jù)的Topic。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。該Topic可以和異常數(shù)據(jù)Topic為同一個(gè)Topic,以節(jié)省Topic資源。
      • Topic:建議以connect-error開(kāi)頭。
      • 分區(qū)數(shù):Topic的分區(qū)數(shù)量建議為6。
      • 存儲(chǔ)引擎:Topic的存儲(chǔ)引擎可以為L(zhǎng)ocal存儲(chǔ)或云存儲(chǔ)。
      connect-error-kafka-ots-sink
      異常數(shù)據(jù) Topic用于存儲(chǔ)Sink的異常數(shù)據(jù)的Topic。單擊配置運(yùn)行環(huán)境顯示該參數(shù)。該Topic可以和死信隊(duì)列Topic為同一個(gè)Topic,以節(jié)省Topic資源。
      • Topic:建議以connect-error開(kāi)頭。
      • 分區(qū)數(shù):Topic的分區(qū)數(shù)量建議為6。
      • 存儲(chǔ)引擎:Topic的存儲(chǔ)引擎可以為L(zhǎng)ocal存儲(chǔ)或云存儲(chǔ)。
      connect-error-kafka-ots-sink
    3. 配置目標(biāo)服務(wù)頁(yè)簽,選擇目標(biāo)服務(wù)表格存儲(chǔ),并配置以下參數(shù),然后單擊創(chuàng)建
      參數(shù)描述示例值
      實(shí)例名稱表格存儲(chǔ)的實(shí)例名稱。k00eny67****
      自動(dòng)創(chuàng)建目標(biāo)表是否在表格存儲(chǔ)中自動(dòng)創(chuàng)建表。
      • :在表格存儲(chǔ)中根據(jù)配置的表名自動(dòng)創(chuàng)建一個(gè)存儲(chǔ)同步數(shù)據(jù)的表。
      • :使用已創(chuàng)建的表存儲(chǔ)同步數(shù)據(jù)。
      目標(biāo)表名存儲(chǔ)同步數(shù)據(jù)的表名稱。如果自動(dòng)創(chuàng)建目標(biāo)表選擇,表名稱需與表格存儲(chǔ)實(shí)例中已有表名稱相同。 kafka_table
      表格存儲(chǔ)存儲(chǔ)同步數(shù)據(jù)的表類型。
      • 寬表模型
      • 時(shí)序模型
      寬表模型
      消息 Key 格式消息Key的輸入格式。支持StringJSON兩種格式,默認(rèn)值為JSON。當(dāng)表格存儲(chǔ)選擇寬表模型時(shí)顯示該參數(shù)。
      • String:直接將消息的Key作為字符串解析。
      • JSON:消息的Key必須符合JSON格式。
      String
      消息 Value 格式消息值的輸入格式。支持StringJSON兩種格式。默認(rèn)值為JSON。當(dāng)表格存儲(chǔ)選擇寬表模型時(shí)顯示該參數(shù)。
      • String:直接將消息的Value作為字符串解析。
      • JSON:消息的Value必須符合JSON格式。
      String
      JSON消息字段轉(zhuǎn)化JSON消息的字段處理方式。消息 Key 格式消息 Value 格式選擇JSON時(shí)顯示該參數(shù)。取值范圍如下:
      • 全部作為String寫入:將所有字段轉(zhuǎn)化為表格存儲(chǔ)中對(duì)應(yīng)的String。
      • 自動(dòng)識(shí)別字段類型:將JSON消息體中的String和Boolean字段分別轉(zhuǎn)化為表格存儲(chǔ)中對(duì)應(yīng)的String和Boolean字段。JSON消息體中的Integer和Float數(shù)據(jù)類型,將被轉(zhuǎn)化為表格存儲(chǔ)中的Double類型。
      全部作為String寫入
      主鍵模式指定主鍵模式。支持從云消息隊(duì)列 Kafka 版消息記錄的不同部分提取數(shù)據(jù)表主鍵,包括消息記錄的Coordinates(Topic,Partition,Offset),Key和Value。當(dāng)表格存儲(chǔ)選擇寬表模型時(shí)顯示該參數(shù)。默認(rèn)值為kafka
      • kafka:表示以<connect_topic>_<connect_partition>和 <connect_offset>作為數(shù)據(jù)表的主鍵。
      • record_key:表示以Record Key中的字段作為數(shù)據(jù)表的主鍵。
      • record_value:表示以 Record Value 中的字段作為數(shù)據(jù)表的主鍵。
      kafka
      主鍵列名配置數(shù)據(jù)表的主鍵列名和對(duì)應(yīng)的數(shù)據(jù)類型。支持string和Integer兩種數(shù)據(jù)類型,表示從Record Key或Record Value中提取與配置的主鍵列名相同的字段作為數(shù)據(jù)表的主鍵。

      消息 Key 格式選擇JSON,且主鍵模式選擇record_key,或消息 Value 格式選擇JSON,且主鍵模式選擇record_value,顯示該參數(shù)。

      單擊添加可以增加列名。最多支持配置四個(gè)列名。

      無(wú)
      寫入模式指定寫入模式,支持putupdate兩種寫入模式,默認(rèn)值為put。當(dāng)表格存儲(chǔ)選擇寬表模型時(shí)顯示該參數(shù)。
      • put:表示覆蓋寫。
      • update:表示更新寫。
      put
      刪除模式當(dāng)云消息隊(duì)列 Kafka 版消息記錄出現(xiàn)空值時(shí),您可以選擇是否進(jìn)行刪除行或刪除屬性列的操作。主鍵模式選擇record_key顯示該參數(shù)。取值范圍如下:
      • none:默認(rèn)值,不允許進(jìn)行任何刪除。
      • row:允許刪除行。
      • column:允許刪除屬性列。
      • row_and_column:允許刪除行和屬性列。
      刪除操作與寫入模式的配置相關(guān)。具體如下:
      • 如果寫入模式put,選擇任意一種刪除模式,當(dāng)Value中存在空值時(shí),數(shù)據(jù)均覆蓋寫入表格存儲(chǔ)數(shù)據(jù)表。
      • 如果寫入模式update,選擇nonerow刪除模式,當(dāng)Value所有字段值均為空值時(shí),數(shù)據(jù)作為臟數(shù)據(jù)處理。當(dāng)Value部分字段值為空值時(shí),自動(dòng)忽略空值,將非空值寫入表格存儲(chǔ)數(shù)據(jù)表。選擇columnrow_and_column刪除模式,當(dāng)Value存在空值時(shí),刪除行和屬性列后,將數(shù)據(jù)寫入表格存儲(chǔ)數(shù)據(jù)表。
      無(wú)
      度量名稱字段將該字段映射為表格存儲(chǔ)時(shí)序模型中的度量名稱字段(_m_name),表示時(shí)序數(shù)據(jù)所度量的物理量或者監(jiān)控指標(biāo)的名稱,比如temperature、speed等,不能為空。當(dāng)表格存儲(chǔ)選擇時(shí)序模型時(shí)顯示該參數(shù)。measurement
      數(shù)據(jù)源字段將該字段映射為表格存儲(chǔ)時(shí)序模型中的數(shù)據(jù)源字段(_data_source),作為產(chǎn)生某個(gè)時(shí)間序列數(shù)據(jù)的數(shù)據(jù)源標(biāo)識(shí),比如機(jī)器名或者設(shè)備ID等,可以為空。當(dāng)表格存儲(chǔ)選擇時(shí)序模型時(shí)顯示該參數(shù)。source
      標(biāo)簽字段將一個(gè)或多個(gè)字段作為表格存儲(chǔ)時(shí)序模型中的標(biāo)簽字段(_tags)。每個(gè)標(biāo)簽是一個(gè)字符串類型的Key和Value,Key為配置的字段名,Value為字段內(nèi)容。標(biāo)簽作為時(shí)間線元數(shù)據(jù)的一部分,度量名稱、數(shù)據(jù)源、標(biāo)簽共同標(biāo)識(shí)一條時(shí)間線,可以為空。當(dāng)表格存儲(chǔ)選擇時(shí)序模型時(shí)顯示該參數(shù)。tag1, tag2
      時(shí)間戳字段將該字段映射為表格存儲(chǔ)時(shí)序模型中的時(shí)間戳字段(_time)。表示該行時(shí)序數(shù)據(jù)所對(duì)應(yīng)的時(shí)間點(diǎn),比如產(chǎn)生物理量的時(shí)刻等。在數(shù)據(jù)寫入表格存儲(chǔ)時(shí),會(huì)將時(shí)間戳字段轉(zhuǎn)換成微秒單位進(jìn)行寫入和存儲(chǔ)。當(dāng)表格存儲(chǔ)選擇時(shí)序模型時(shí)顯示該參數(shù)。time
      時(shí)間戳單位視時(shí)間戳字段實(shí)際情況進(jìn)行配置。當(dāng)表格存儲(chǔ)選擇時(shí)序模型時(shí)顯示該參數(shù)。取值范圍如下:
      • SECONDS(秒)
      • MILLISECONDS(毫秒)
      • MICROSECONDS(微秒)
      • NANOSECONDS(納秒)
      MILLISECONDS
      是否映射全部非主鍵字段是否將非主鍵字段(主鍵字段為已經(jīng)映射為度量名稱、數(shù)據(jù)源、標(biāo)簽或時(shí)間戳的字段)全部映射為數(shù)據(jù)字段。當(dāng)表格存儲(chǔ)選擇時(shí)序模型時(shí)顯示該參數(shù)。取值范圍如下:
      • :會(huì)自動(dòng)映射字段并判斷數(shù)據(jù)類型,數(shù)值類型會(huì)全部轉(zhuǎn)換為Double類型。
      • :需要指定需要映射的字段和類型。
      配置映射全部非主鍵字段時(shí)序表的非主鍵字段名稱對(duì)應(yīng)的字段類型。支持Double、Integer、String、Binary和Boolean五種數(shù)據(jù)類型。當(dāng)是否映射全部非主鍵字段選擇否時(shí)顯示該參數(shù)。String
      創(chuàng)建完成后,在Connector 任務(wù)列表頁(yè)面,查看創(chuàng)建的Connector 。
  6. 創(chuàng)建完成后,在Connector 任務(wù)列表頁(yè)面,找到創(chuàng)建的Connector ,單擊其操作列的部署
  7. 單擊確認(rèn)

發(fā)送測(cè)試消息

部署Tablestore Sink Connector后,您可以向云消息隊(duì)列 Kafka 版的數(shù)據(jù)源Topic發(fā)送消息,測(cè)試數(shù)據(jù)能否被同步至表格存儲(chǔ)。

  1. Connector 任務(wù)列表頁(yè)面,找到目標(biāo)Connector,在其右側(cè)操作列,單擊測(cè)試
  2. 發(fā)送消息面板,發(fā)送測(cè)試消息。
    • 發(fā)送方式選擇控制臺(tái)
      1. 消息 Key文本框中輸入消息的Key值,例如demo。
      2. 消息內(nèi)容文本框輸入測(cè)試的消息內(nèi)容,例如 {"key": "test"}。
      3. 設(shè)置發(fā)送到指定分區(qū),選擇是否指定分區(qū)。
        • 單擊,在分區(qū) ID文本框中輸入分區(qū)的ID,例如0。如果您需查詢分區(qū)的ID,請(qǐng)參見(jiàn)查看分區(qū)狀態(tài)
        • 單擊,不指定分區(qū)。
    • 發(fā)送方式選擇Docker,執(zhí)行運(yùn)行 Docker 容器生產(chǎn)示例消息區(qū)域的Docker命令,發(fā)送消息。
    • 發(fā)送方式選擇SDK,根據(jù)您的業(yè)務(wù)需求,選擇需要的語(yǔ)言或者框架的SDK以及接入方式,通過(guò)SDK發(fā)送消息。

查看表數(shù)據(jù)

云消息隊(duì)列 Kafka 版的數(shù)據(jù)源Topic發(fā)送消息后,在表格存儲(chǔ)控制臺(tái)查看表數(shù)據(jù),驗(yàn)證是否收到消息。
  1. 登錄表格存儲(chǔ)控制臺(tái)
  2. 概覽頁(yè)面,單擊實(shí)例名稱或在操作列單擊實(shí)例管理
  3. 實(shí)例詳情頁(yè)簽,數(shù)據(jù)表列表區(qū)域,查看對(duì)應(yīng)的數(shù)據(jù)表。查看數(shù)據(jù)表
  4. 單擊數(shù)據(jù)表名稱,在表管理頁(yè)面的數(shù)據(jù)管理頁(yè)簽,查看表數(shù)據(jù)。查看表數(shù)據(jù)