產品概述

數據總線 DataHub基本介紹

阿里云流數據處理平臺數據總線DataHub是流式數據（Streaming Data）的處理平臺，提供對流式數據的發布 (Publish)，訂閱 （Subscribe）和分發功能，讓您可以輕松構建基于流式數據的分析和應用。數據總線DataHub服務可以對各種移動設備，應用軟件，網站服務，傳感器等產生的大量流式數據進行持續不斷的采集，存儲和處理。用戶可以編寫應用程序或者使用流計算引擎來處理寫入到數據總線DataHub的流式數據比如實時Web訪問日志、應用日志、各種事件等，并產出各種實時的數據處理結果比如實時圖表、報警信息、實時統計等。

數據總線DataHub服務基于阿里云自研的飛天平臺，具有高可用，低延遲，高可擴展，高吞吐的特點。數據總線DataHub與阿里云流計算引擎StreamCompute無縫連接，用戶可以輕松使用SQL進行流數據分析。

數據總線DataHub服務也提供分發流式數據到各種云產品的功能，目前支持分發到MaxCompute（原ODPS），OSS等。

系統整體功能圖

產品優勢

高吞吐

最高支持單shard每日1.6億Record級別的寫入量。

實時性

通過數據總線DataHub ，您可以實時的收集各種方式生成的數據并進行實時的處理，對您的業務產生快速的響應。

易用性

• 數據總線DataHub 提供豐富的SDK包，包括C++, JAVA, Pyhon, Go等語言。

• 數據總線 DataHub服務也提供Restful API規范，您可以用自己的方式實現訪問接口。

• 除了SDK以外，數據總線 DataHub 還提供一些常用的客戶端插件，包括：Fluentd，LogStash，Flume等。您可以使用這些客戶端工具往數據總線 DataHub 里面寫入流式數據。

• 數據總線 DataHub 同時支持強Schema的結構化數據（創建Tuple類型的Topic）和無類型的非結構化數據（創建Blob類型的Topic），您可以自由選擇。

高可用

• 服務可用性不低于99.9%。

• 規模自動擴展，不影響對外服務；數據持久性不低于99.999%。

• 數據自動多重冗余備份。

動態伸縮

每個主題（Topic）的數據流吞吐能力可以動態擴展和減少，最高可達到每主題256000 Records/s的吞吐量。

高安全性

• 提供企業級多層次安全防護，多用戶資源隔離機制；

• 提供多種鑒權和授權機制及白名單、主子賬號功能。

使用場景

數據總線 DataHub作為一個流式數據處理服務，結合阿里云眾多云產品，可以構建一站式的數據處理服務。

流計算StreamCompute

StreamCompute是阿里云提供的流計算引擎，提供使用類SQL的語言來進行流式計算。數據總線 DataHub 和StreamCompute無縫結合，可以作為StreamCompute的數據源和輸出源，具體可參考實時計算文檔

流處理應用

用戶可以編寫應用訂閱數據總線 DataHub中的數據，并進行實時的加工，把加工后的結果輸出。用戶可以把應用計算產生的結果輸出到數據總線 DataHub中，并使用另外一個應用來處理上一個應用生成的流式數據，來構建數據處理流程的DAG。

流式數據歸檔

用戶的流式數據可以歸檔到 MaxCompute（原ODPS）中。用戶通過創建數據總線 DataHub Connector，指定相關配置，即可創建將數據總線 DataHub中流式數據定期歸檔的同步任務。