本文介紹自定義連接器的功能及相關概念。

背景信息

在創建事件流任務時,事件總線EventBridge支持將事件提供方選擇為自定義連接器(CustomConnector)。自定義連接器是事件流的補充功能,它基于Serverless應用引擎SAE(Serverless App Engine)構建底層資源,存儲各個自定義連接器的元數據信息,協調并組織各資源完成相關連接器的創建。更多信息,請參見什么是Serverless應用引擎?

消息中間件產品Kafka被廣泛應用于數據的ETL過程,用于對離線或在線數據進行分發、消費等。但數據的源端與目標端缺乏一個無縫的通道對數據進行快速傳輸。自定義連接器當前支持Apache Kafka集群,使用Kafka Connect的開源框架,可以在Kafka集群與外部系統(如數據庫、消息隊列、文件系統)之間打造一個可靠的流式數據傳輸通道,使數據傳輸更彈性、低時延、高效率。

自定義連接器

組件和架構

自定義連接器的幾個重要概念包括連接器(Connectors)、任務(Tasks)、工作者(Workers)和運行日志(Logs)。

Connectors

Connectors定義了數據集成的代碼邏輯部分、相關資源配置以及運行配置,此部分決定了數據導入的源服務及數據寫入的目標端。自定義連接器支持您將包含連接配置的ZIP文件上傳至控制臺,以實現低代碼快速創建自定義連接器任務。連接器部分自定義代碼,請參見Kafka Connectors

Tasks

Tasks是無狀態邏輯執行單元,每個Connector實例會協同管理多個Tasks單元用于進行數據傳輸。

Workers

Workers是運行連接器的實體資源,底層采用SAE應用承載,會在相關賬號下創建SAE資源。

Logs

自定義連接器全部資源均托管在當前創建賬號的SAE資源內,Connectors運行需要自行維護和管理。目前支持將運行日志輸出到日志服務SLS和消息隊列Kafka版中進行分析。

自定義連接器架構如下圖所示。

架構