整體架構(gòu)
云原生數(shù)據(jù)倉庫 AnalyticDB MySQL 版是阿里巴巴自主研發(fā)、經(jīng)過超大規(guī)模以及核心業(yè)務驗證的PB級實時數(shù)據(jù)倉庫。
概述
自2012年第一次在集團發(fā)布上線以來，AnalyticDB for MySQL至今已累計迭代發(fā)布近百個版本，支撐起集團內(nèi)的電商、廣告、物流、文娛、旅游、風控等眾多在線分析業(yè)務。AnalyticDB for MySQL從2014年開始正式對外提供服務，覆蓋十多個行業(yè)，既包括傳統(tǒng)的大中型企業(yè)和政府機構(gòu)，也包括眾多的互聯(lián)網(wǎng)公司。
AnalyticDB for MySQL是基于數(shù)據(jù)庫大數(shù)據(jù)一體化的理念和趨勢，在工程上深度打磨出的云原生數(shù)據(jù)倉庫。
技術(shù)架構(gòu)
AnalyticDB for MySQL采用云原生架構(gòu)，計算存儲分離、冷熱數(shù)據(jù)分離，支持高吞吐實時寫入和數(shù)據(jù)強一致，兼顧高并發(fā)查詢和大吞吐批處理的混合負載。
AnalyticDB for MySQL數(shù)倉版主要用來處理高性能在線分析場景的數(shù)據(jù)。隨著數(shù)據(jù)規(guī)模的暴增和數(shù)據(jù)格式的多樣化，通常需要離線處理ETL前，先對數(shù)據(jù)進行加工規(guī)整。AnalyticDB for MySQL新推出的湖倉版新增了高吞吐離線處理能力，通過一體化的方式解決離線處理和在線分析兩種場景的需求，恰好可以解決該問題。
數(shù)倉版
數(shù)倉版架構(gòu)如下：
接入層
接入層由Multi-Master可線性擴展的協(xié)調(diào)節(jié)點構(gòu)成，主要負責協(xié)議層接入、SQL解析和優(yōu)化、實時寫入Sharding、數(shù)據(jù)調(diào)度和查詢調(diào)度。
計算引擎
計算引擎具備分布式MPP和DAG融合執(zhí)行能力，結(jié)合智能優(yōu)化器，可支持高并發(fā)和復雜SQL混合負載。同時借助云原生基礎設施，計算節(jié)點實現(xiàn)了彈性調(diào)度，可根據(jù)業(yè)務需求做到分鐘級甚至秒級擴展，實現(xiàn)了資源的有效利用。
存儲引擎
存儲引擎是基于Raft協(xié)議實現(xiàn)的分布式實時強一致高可用的引擎，通過數(shù)據(jù)分片和Multi-Raft實現(xiàn)并行，利用分層存儲實現(xiàn)冷熱分離降低成本，通過行列存儲和智能索引達到很好的性能。
在這三層架構(gòu)之上，通過服務秒級恢復，支持跨可用區(qū)部署，自動故障檢測、摘除和副本重搭。配合三副本存儲、全量和增量備份，提供金融級別的數(shù)據(jù)可靠性。在周邊生態(tài)上，提供數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)管理、數(shù)據(jù)集成、數(shù)據(jù)安全等配套工具，方便使用，使您能更加專注于業(yè)務發(fā)展。
湖倉版
在數(shù)倉版基礎上，同時滿足低成本離線處理和高性能在線分析的湖倉一體化版本，稱為湖倉版。湖倉版在數(shù)據(jù)全鏈路的“采存算管用”5大方面都進行了全面升級。
湖倉版架構(gòu)如下：
數(shù)據(jù)源
數(shù)據(jù)管道APS可以一鍵低成本接入數(shù)據(jù)庫、日志、大數(shù)據(jù)中的數(shù)據(jù)。
存儲層+計算層
支持自研引擎，羲和計算引擎和玄武存儲引擎。新增集成的開源引擎，Spark計算引擎和Hudi存儲引擎?？梢越柚_源的能力為您提供更豐富的數(shù)據(jù)分析場景。同時打通自研和開源引擎之間的互相訪問，提供更一體化的體驗。
存儲層：只需一份全量數(shù)據(jù)，滿足離線和在線場景。
在線分析場景需要數(shù)據(jù)盡量在高性能存儲介質(zhì)上提高性能，離線場景需要數(shù)據(jù)盡量在低成本存儲介質(zhì)上降低存儲成本。為滿足不同場景需求，首先將一份全量數(shù)據(jù)存儲在低成本高吞吐存儲介質(zhì)中，低成本離線處理場景直接讀寫低成本存儲介質(zhì)中的數(shù)據(jù)，可降低數(shù)據(jù)存儲和數(shù)據(jù)IO成本，保證高吞吐。其次將實時數(shù)據(jù)存儲在單獨的存儲IO節(jié)點（EIU）上，保證行級的數(shù)據(jù)實時性，同時對全量數(shù)據(jù)構(gòu)建索引，并通過緩存能力對數(shù)據(jù)進行加速，滿足百毫秒級高性能在線分析場景。
計算層：羲和計算引擎，智能選擇計算模式。開源Spark計算引擎，滿足多種場景。
羲和計算引擎同時提供MPP和BSP兩種模式。MPP模式是一種流式計算模式，不適合離線處理低成本和高吞吐場景。BSP模式，通過DAG進行任務切分，分批調(diào)度，滿足有限資源下大數(shù)據(jù)量計算，支持計算數(shù)據(jù)落盤。羲和計算引擎提供自動切換能力，即當查詢使用MPP模式無法在一定耗時內(nèi)完成時，系統(tǒng)會自動切換為BSP模式進行執(zhí)行。
湖倉版新增的開源Spark計算引擎可以滿足更復雜的離線處理場景和機器學習場景。湖倉版中Spark計算層和存儲層互相打通，您可以使用計算層資源來處理存儲層數(shù)據(jù)，在創(chuàng)建和配置Spark資源組時更容易。
訪問層
訪問層通過統(tǒng)一計費單位、統(tǒng)一元數(shù)據(jù)和權(quán)限、統(tǒng)一開發(fā)語言、統(tǒng)一傳輸鏈路，提升開發(fā)效率。
云原生數(shù)據(jù)倉庫 AnalyticDB MySQL 版融合了分布式、彈性計算與云計算的優(yōu)勢，對規(guī)模性、易用性、可靠性和安全性等方面進行了大規(guī)模的改進，充分滿足不同場景實時數(shù)據(jù)倉庫的需求。支持更大規(guī)模的并發(fā)訪問、更快讀寫能力以及更智能的混合查詢負載管理等，實現(xiàn)更精細化的資源利用和更低成本的投入，讓您能更加專注于業(yè)務發(fā)展，專注于數(shù)據(jù)價值。