應(yīng)用場(chǎng)景
StarRocks可以滿足企業(yè)級(jí)用戶的多種分析需求。本文介紹StarRocks的應(yīng)用場(chǎng)景及其解決方案。
適用場(chǎng)景
OLAP多維分析
- 用戶行為分析
- 用戶畫像、標(biāo)簽分析、圈人
- 高維業(yè)務(wù)指標(biāo)報(bào)表
- 自助式報(bào)表平臺(tái)
- 業(yè)務(wù)問題探查分析
- 跨主題業(yè)務(wù)分析
- 財(cái)務(wù)報(bào)表
- 系統(tǒng)監(jiān)控分析
實(shí)時(shí)數(shù)倉(cāng)
- 電商大促數(shù)據(jù)分析
- 教育行業(yè)的直播質(zhì)量分析
- 物流行業(yè)的運(yùn)單分析
- 金融行業(yè)績(jī)效分析、指標(biāo)計(jì)算
- 廣告投放分析
- 管理駕駛艙
- 探針分析APM（Application Performance Management）
高并發(fā)查詢
- 廣告主報(bào)表分析
- 零售行業(yè)渠道人員分析
- SaaS行業(yè)面向用戶分析報(bào)表
- Dashboard多頁面分析
統(tǒng)一分析
通過使用一套系統(tǒng)解決多維分析、高并發(fā)查詢、預(yù)計(jì)算、實(shí)時(shí)分析查詢等場(chǎng)景，降低系統(tǒng)復(fù)雜度和多技術(shù)棧開發(fā)與維護(hù)成本。
使用StarRocks統(tǒng)一管理數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)，將高并發(fā)和實(shí)時(shí)性要求很高的業(yè)務(wù)放在StarRocks中進(jìn)行分析，也可以使用External Catalog和外部表進(jìn)行數(shù)據(jù)湖上的分析。
典型場(chǎng)景的解決方案
OLAP通用場(chǎng)景解決方案
業(yè)務(wù)背景：該方案適用于多種業(yè)務(wù)場(chǎng)景，包括GMV、訂單、物流、客戶分析、推薦系統(tǒng)、用戶畫像場(chǎng)景。支持離線導(dǎo)入和實(shí)時(shí)導(dǎo)入兩種方式來處理數(shù)據(jù)。
原有解決方案：通過多種OLAP引擎滿足不同的場(chǎng)景。煙囪式搭建各自業(yè)務(wù)，導(dǎo)致運(yùn)維難度大，開發(fā)人員需要投入大量的時(shí)間和精力。
統(tǒng)一OLAP引擎：使用StarRocks統(tǒng)一OLAP引擎來滿足各類分析需求。相較于原有解決方案，我們的解決方案運(yùn)維更加簡(jiǎn)單，并且使用MySQL協(xié)議，可以對(duì)接各種BI工具，從而實(shí)現(xiàn)數(shù)據(jù)的快速分析和處理。
實(shí)時(shí)數(shù)據(jù)分析場(chǎng)景解決方案
步驟如下：
實(shí)時(shí)攝入：通過直接讀取Kafka數(shù)據(jù)來實(shí)現(xiàn)。提供了Flink-Connector來支持Flink數(shù)據(jù)流的直接寫入，并保證了exactly-once語義。此外，還支持Flink CDC來捕捉TP數(shù)據(jù)更新，并實(shí)時(shí)地將結(jié)果更新到StarRocks中。
數(shù)據(jù)分析：實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)分析生成的數(shù)據(jù)可以直接用于Serving，從而實(shí)現(xiàn)了實(shí)時(shí)和離線數(shù)據(jù)的統(tǒng)一融合。
實(shí)時(shí)數(shù)據(jù)建模：提供了實(shí)時(shí)數(shù)據(jù)建模聚合表，以支持實(shí)時(shí)聚合能力。強(qiáng)大的引擎和優(yōu)化器保證了數(shù)據(jù)庫(kù)在實(shí)時(shí)數(shù)據(jù)建模時(shí)的高效性。
實(shí)時(shí)更新：采用了delete-and-insert的實(shí)時(shí)更新策略，且在讀取時(shí)無需進(jìn)行主鍵合并，相較于采用了merge-on-read（unique）的合并策略，性能提升了3~15倍。
湖倉(cāng)分析場(chǎng)景解決方案
查詢層：復(fù)用了當(dāng)前StarRocks的CBO和查詢引擎能力，使得查詢計(jì)算性能達(dá)到了Trino的3~5倍。
元數(shù)據(jù)管理：
支持Multi-Catalog管理，無縫對(duì)接HMS，同時(shí)支持自定義Catalog，便于和云廠商的DLF對(duì)接。
支持通用的Parquet、ORC、CSV等標(biāo)準(zhǔn)格式，實(shí)現(xiàn)了延遲物化和小文件合并讀寫。
支持多種數(shù)據(jù)湖格式，例如Hudi、Iceberg、DeltaLake和Paimon。
步驟如下：
實(shí)時(shí)攝入：屏蔽了底層數(shù)據(jù)源的細(xì)節(jié)，支持異構(gòu)數(shù)據(jù)源數(shù)據(jù)聯(lián)合分析，同時(shí)支持實(shí)時(shí)和離線數(shù)據(jù)的聯(lián)合分析。
查詢加速：采用了就近計(jì)算策略，例如表達(dá)式下推和聚合下推，以及分部署讀取/數(shù)據(jù)源針對(duì)性優(yōu)化策略。支持向量化解釋ORC、Parquet格式，字典過濾、延遲物化等技術(shù)。
測(cè)試結(jié)果：進(jìn)行了TPC-H和Hive查詢等測(cè)試，與Presto（OR）相比，在同等條件下，性能提升了3~5倍以上，并且僅使用Presto資源的三分之一即可獲得相同的性能體驗(yàn)。