實(shí)時數(shù)據(jù)消費(fèi)概述
實(shí)時數(shù)據(jù)消費(fèi)功能包含高速數(shù)據(jù)導(dǎo)入API和實(shí)時數(shù)據(jù)源消費(fèi)兩部分,可實(shí)現(xiàn)數(shù)據(jù)直接寫入Segment(分片單元),避免通過COPY或INSERT方式造成的Master寫入負(fù)載高的問題,也可實(shí)現(xiàn)使用AnalyticDB PostgreSQL版單產(chǎn)品直接消費(fèi)Kafka數(shù)據(jù)。
功能簡介
高速數(shù)據(jù)導(dǎo)入API
gRPC是由Google主導(dǎo)開發(fā)的高性能、開源的通用RPC框架。高速數(shù)據(jù)導(dǎo)入API利用gRPC協(xié)議作為客戶端API,內(nèi)部使用Segment直寫技術(shù)實(shí)現(xiàn)了高效的數(shù)據(jù)傳輸。您可以通過API更靈活地控制數(shù)據(jù)寫入和更新的過程。更多信息,請參見高速數(shù)據(jù)導(dǎo)入API。
實(shí)時數(shù)據(jù)源消費(fèi)
Kafka數(shù)據(jù)集成是實(shí)時分析功能的另一個組件,它允許AnalyticDB PostgreSQL版數(shù)據(jù)庫實(shí)時地從Kafka Topic中消費(fèi)數(shù)據(jù)。為您提供了一個強(qiáng)大的工具,用于結(jié)合流處理和批處理的數(shù)據(jù)分析。更多信息,請參見實(shí)時數(shù)據(jù)源集成。
使用場景
構(gòu)建實(shí)時分析報表及其他實(shí)時分析應(yīng)用。
結(jié)合增量實(shí)時物化視圖構(gòu)建流批一體的實(shí)時數(shù)倉。
在采用SQL方式寫入數(shù)據(jù)(UPSERT或UPDATE)但性能不佳時,使用高速數(shù)據(jù)導(dǎo)入API獲得更高吞吐的UPSERT性能。
需要將Kafka Topic數(shù)據(jù)導(dǎo)入AnalyticDB PostgreSQL版,但不希望使用其他數(shù)據(jù)集成工具。
優(yōu)勢
可直接消費(fèi)Kafka數(shù)據(jù),減少實(shí)時處理組件依賴。
被寫入數(shù)據(jù)不經(jīng)過協(xié)調(diào)節(jié)點(diǎn),而是直接通過計算節(jié)點(diǎn)寫入,較大幅度提升寫入吞吐。
相較于SQL寫入(UPSERT或UPDATE)方式,具有更高的性能。
寫入過程對Master幾乎不產(chǎn)生負(fù)載。