本文介紹如何在云消息隊(duì)列 Kafka 版控制臺(tái)查看Connector任務(wù)配置信息、查看Connector日志、啟暫停Connector、修改Connector配置、測(cè)試Connector、查看消費(fèi)詳情和刪除Connector。
前提條件
您已創(chuàng)建以下任意一種Connector:- 創(chuàng)建FC Sink Connector
- 創(chuàng)建MaxCompute Sink Connector
- 創(chuàng)建OSS Sink Connector
- 創(chuàng)建Elasticsearch Sink Connector
- 創(chuàng)建MySQL Source Connector
- 創(chuàng)建Tablestore Sink Connector
- 創(chuàng)建AnalyticDB Sink Connector
注意事項(xiàng)
- 僅FC Sink Connector支持修改Connector配置。
- DLA Sink Connector的相關(guān)操作,請(qǐng)參見(jiàn)創(chuàng)建DLA Sink Connector。
- 暫停Connector時(shí),Connector需處于運(yùn)行中狀態(tài);啟用Connector時(shí),Connector需處于暫停狀態(tài)。
查看Connector任務(wù)配置
您可以查看已創(chuàng)建的Connector的基礎(chǔ)信息、源實(shí)例配置、目標(biāo)實(shí)例配置等信息。
- 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
- 在概覽頁(yè)面的資源分布區(qū)域,選擇地域。
- 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
- 在Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,單擊操作列的詳情。在Connector詳情頁(yè)面,顯示Connector的基礎(chǔ)信息、源信息和目標(biāo)信息。
查看Connector日志
如果您的Connector出現(xiàn)異常,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)查看Connector的日志以進(jìn)行異常排查。
- 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
- 在概覽頁(yè)面的資源分布區(qū)域,選擇地域。
- 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
- 在Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其操作列,選擇 。您也可以在目標(biāo)Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁(yè)面右上角單擊查看日志。說(shuō)明 操作列查看日志位置和任務(wù)狀態(tài)有關(guān),實(shí)際請(qǐng)以界面顯示為準(zhǔn)。在查看Connector日志頁(yè)面,查看Connector的日志。
修改Connector配置
成功創(chuàng)建FC Sink Connector或MySQL Source Connector后,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)更新其配置。
- 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
- 在概覽頁(yè)面的資源分布區(qū)域,選擇地域。
- 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
- 在Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其操作列,選擇 。您也可以在目標(biāo)Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁(yè)面右上角單擊修改配置。
- 在修改配置面板,按需修改配置參數(shù),然后單擊確定。
- 修改FC Sink Connector配置
參數(shù) 描述 消費(fèi)線程并發(fā)數(shù) 數(shù)據(jù)源Topic的消費(fèi)線程并發(fā)數(shù)。默認(rèn)值為6。取值說(shuō)明如下: - 1
- 2
- 3
- 6
- 12
失敗處理 消息發(fā)送失敗后,是否繼續(xù)訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū)。取值說(shuō)明如下: - 繼續(xù)訂閱:繼續(xù)訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū),并打印錯(cuò)誤日志。
- 停止訂閱:停止訂閱出現(xiàn)錯(cuò)誤的Topic的分區(qū),并打印錯(cuò)誤日志。
說(shuō)明- 如何查看日志,請(qǐng)參見(jiàn)Connector相關(guān)操作。
- 如何根據(jù)錯(cuò)誤碼查找解決方案,請(qǐng)參見(jiàn)錯(cuò)誤碼列表。
發(fā)送模式 消息的發(fā)送模式。取值如下: - 同步:發(fā)送端和接收端必須同時(shí)處于運(yùn)行狀態(tài),隨時(shí)做好相互通信的準(zhǔn)備。
- 異步: 發(fā)送端在發(fā)送消息之后可以不用等待服務(wù)端的響應(yīng), 可以接著處理其他任務(wù)。
發(fā)送批大小 批量發(fā)送消息的條數(shù)。 默認(rèn)值為20,取值范圍為[1,5000]。
重試次數(shù) 消息發(fā)送失敗后的重試次數(shù)。默認(rèn)為2。取值范圍為1~3。部分導(dǎo)致消息發(fā)送失敗的錯(cuò)誤不支持重試。關(guān)于錯(cuò)誤碼的詳細(xì)信息,請(qǐng)參見(jiàn)錯(cuò)誤碼列表。錯(cuò)誤碼與是否支持重試的對(duì)應(yīng)關(guān)系如下: - 4xx:除429支持重試外,其余錯(cuò)誤碼不支持重試。
- 5xx:支持重試。
說(shuō)明 Connector調(diào)用InvokeFunction向函數(shù)計(jì)算發(fā)送消息。 - 修改MySQL Source Connector
參數(shù) 描述 數(shù)據(jù)庫(kù)表 需要同步的阿里云數(shù)據(jù)庫(kù)RDS MySQL版實(shí)例數(shù)據(jù)庫(kù)表的名稱,多個(gè)表名以英文逗號(hào)(,)分隔。 數(shù)據(jù)庫(kù)表和目標(biāo)Topic是一對(duì)一的關(guān)系。
說(shuō)明 如果是在原任務(wù)基礎(chǔ)上增加或修改表,需提前在云消息隊(duì)列 Kafka 版控制臺(tái)創(chuàng)建與之對(duì)應(yīng)的Topic,即Topic名稱為Topic前綴_數(shù)據(jù)表名
,否則會(huì)在運(yùn)行時(shí)出錯(cuò)。創(chuàng)建Topic的具體操作,請(qǐng)參見(jiàn)步驟一:創(chuàng)建Topic。
修改完成后,在Connector 任務(wù)列表頁(yè)面,找到目標(biāo)Connector。在其操作列,單擊詳情。在Connector 詳情頁(yè)面,查看到更新后的Connector配置。 - 修改FC Sink Connector配置
啟停Connector
如果您需要暫時(shí)中止某個(gè)運(yùn)行中的Connector或恢復(fù)某個(gè)暫停的Connector,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)暫?;騿⒂迷揅onnector。
- 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
- 在概覽頁(yè)面的資源分布區(qū)域,選擇地域。
- 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
- 在Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,根據(jù)需要暫停或啟用該Connector。
- 暫停Connector:在其操作列,選擇 ,然后在提示對(duì)話框,確認(rèn)暫停Connector,單擊確認(rèn)。
- 啟用Connector:在其操作列,單擊啟用,然后在提示對(duì)話框,確認(rèn)啟動(dòng)Connector,單擊確認(rèn)。
您也可以在目標(biāo)Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁(yè)面右上角單擊暫停或啟用。
在Connector 任務(wù)列表頁(yè)面,找到暫?;騿⒂玫腃onnector,狀態(tài)已變更為已暫停或運(yùn)行中。說(shuō)明 如果是MySQL Source Connector任務(wù),暫停時(shí)間比較久時(shí),會(huì)出現(xiàn)啟動(dòng)失敗的情況。您可以在目標(biāo)任務(wù)的操作,單擊任務(wù)配置,在DataWorks頁(yè)面,目標(biāo)同步任務(wù)所在行,單擊啟動(dòng)。在啟動(dòng)對(duì)話框,勾選重置位點(diǎn),并配置啟動(dòng)時(shí)間點(diǎn)位,然后單擊確定。
測(cè)試Connector
如果您需要測(cè)試某個(gè)Connector,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)向Connector發(fā)送測(cè)試消息。
- 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
- 在概覽頁(yè)面的資源分布區(qū)域,選擇地域。
- 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
- 在Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其右側(cè)操作列,單擊測(cè)試。您也可以在目標(biāo)Connector名稱處單擊或在其操作列,單擊詳情,然后在Connector詳情頁(yè)面右上角單擊測(cè)試。說(shuō)明 操作列測(cè)試位置和任務(wù)狀態(tài)有關(guān),實(shí)際請(qǐng)以界面顯示為準(zhǔn)。
- 在發(fā)送消息面板,發(fā)送測(cè)試消息。
- 在消息 Key文本框中輸入消息的Key值,例如demo。
- 在消息內(nèi)容文本框輸入測(cè)試的消息內(nèi)容,例如 {"key": "test"}。
- 設(shè)置發(fā)送到指定分區(qū),選擇是否指定分區(qū)。
- 單擊是,在分區(qū) ID文本框中輸入分區(qū)的ID,例如0。如果您需查詢分區(qū)的ID,請(qǐng)參見(jiàn)查看分區(qū)狀態(tài)。
- 單擊否,不指定分區(qū)。
查看消費(fèi)進(jìn)度
Connector任務(wù)創(chuàng)建完成并開(kāi)始運(yùn)行后,您可以查看Connector數(shù)據(jù)同步任務(wù)使用的Group在數(shù)據(jù)源Topic中的消費(fèi)情況。其中,Group的名稱為connect-{任務(wù)名稱}。
- 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
- 在概覽頁(yè)面的資源分布區(qū)域,選擇地域。
- 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
- 在Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其操作列,單擊消費(fèi)進(jìn)度。您也可以在目標(biāo)Connector任務(wù)名稱處單擊或在其操作列單擊詳情,然后在Connector詳情頁(yè)面右上角單擊消費(fèi)進(jìn)度。在Group消費(fèi)詳情面板,您可以查看Connector任務(wù)使用的Group在數(shù)據(jù)源Topic中的消費(fèi)詳情。
刪除Connector
云消息隊(duì)列 Kafka 版限制了每個(gè)實(shí)例的Connector數(shù)量。如果您不再需要某個(gè)Connector,您可以在云消息隊(duì)列 Kafka 版控制臺(tái)刪除該Connector。
- 如果MySQL Source Connector任務(wù)處于運(yùn)行狀態(tài),在云消息隊(duì)列 Kafka 版控制臺(tái)將無(wú)法直接刪除,您需登錄DataWorks控制臺(tái)停止并下線Connector任務(wù),然后提交工單清理云消息隊(duì)列 Kafka 版Connector任務(wù)的元信息。其他FC Sink Connector、MaxCompute Sink Connector、OSS Sink Connector以及Elasticsearch Sink Connector任務(wù),均可在云消息隊(duì)列 Kafka 版控制臺(tái)直接刪除。
- 當(dāng)刪除Connector時(shí),系統(tǒng)會(huì)同時(shí)刪除該Connector依賴的5個(gè)Topic和2個(gè)Group,無(wú)論這些資源當(dāng)時(shí)是自動(dòng)創(chuàng)建的還是手動(dòng)創(chuàng)建的。
- 登錄云消息隊(duì)列 Kafka 版控制臺(tái)。
- 在概覽頁(yè)面的資源分布區(qū)域,選擇地域。
- 在左側(cè)導(dǎo)航欄,單擊Connector 任務(wù)列表。
- 在Connector 任務(wù)列表頁(yè)面,從選擇實(shí)例的下拉列表選擇Connector所屬的實(shí)例,在實(shí)例下的Connector列表中找到目標(biāo)Connector,在其操作列,選擇 。您也可以在目標(biāo)Connector任務(wù)名稱處單擊或在其操作列單擊詳情,然后在Connector詳情頁(yè)面右上角單擊刪除。
- 在提示對(duì)話框,單擊確認(rèn),刪除Connector。