業(yè)務(wù)背景

伴隨著信息技術(shù)的飛速發(fā)展，各行各業(yè)在業(yè)務(wù)生產(chǎn)中產(chǎn)生的數(shù)據(jù)種類越來越多，有結(jié)構(gòu)化的業(yè)務(wù)元數(shù)據(jù)、業(yè)務(wù)運行數(shù)據(jù)、設(shè)備或者系統(tǒng)的量測數(shù)據(jù)，也有半結(jié)構(gòu)化的業(yè)務(wù)運行數(shù)據(jù)、日志、圖片或者文件等。按照傳統(tǒng)方案，為了滿足多種類型數(shù)據(jù)的存儲、查詢和分析需求，在設(shè)計IT架構(gòu)時，需要針對不同種類的數(shù)據(jù)，采用不同的存儲分析技術(shù)，如下圖：

這種技術(shù)方案，是一種典型的技術(shù)碎片化的處理方案。針對不同的數(shù)據(jù)，使用不同的數(shù)據(jù)庫來處理。有如下幾個弊端：

• 涉及的技術(shù)組件多且雜

• 技術(shù)選型復(fù)雜

• 數(shù)據(jù)存取、數(shù)據(jù)同步的鏈路長

這些弊端會對信息系統(tǒng)建設(shè)帶來巨大的問題，對技術(shù)人員要求高、業(yè)務(wù)上線周期長、故障率高、維護(hù)成本高。更進(jìn)一步，技術(shù)碎片化導(dǎo)致技術(shù)架構(gòu)割裂，不利于技術(shù)架構(gòu)的演進(jìn)和發(fā)展，最終導(dǎo)致技術(shù)架構(gòu)無法跟進(jìn)業(yè)務(wù)前進(jìn)的步伐。舉個簡單的例子，當(dāng)業(yè)務(wù)發(fā)展，需要支持跨可用區(qū)高可用、全球同步或者降低存儲成本時，各技術(shù)組件都需要獨立演進(jìn)和發(fā)展，耗時耗人耗力，是一件非常痛苦的事情。并且隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)的類型會越來越多，對不同種類數(shù)據(jù)的差異化處理需求會日漸增加，會導(dǎo)致數(shù)據(jù)存儲碎片化更加嚴(yán)重。

當(dāng)前信息化技術(shù)發(fā)展面臨的一個主要矛盾是"日益多樣的業(yè)務(wù)需求帶來的多種類型數(shù)據(jù)與數(shù)據(jù)存儲技術(shù)架構(gòu)日趨復(fù)雜成本快速上升之間的矛盾"。伴隨5G、IoT、智能網(wǎng)聯(lián)車等新一代信息技術(shù)的逐步普及應(yīng)用，這個矛盾會越來越突出。為了解決這個問題，阿里云自研了云原生多模數(shù)據(jù)庫Lindorm，滿足多模型數(shù)據(jù)的統(tǒng)一存儲、查詢和分析需求。如下圖所示，與傳統(tǒng)方案相比，Lindorm系統(tǒng)極大地簡化數(shù)據(jù)存儲技術(shù)架構(gòu)設(shè)計，大幅度提升系統(tǒng)穩(wěn)定性，降低建設(shè)成本投入。

總體架構(gòu)

Lindorm創(chuàng)新性地使用存儲計算分離、多模共享融合的云原生架構(gòu)，以適應(yīng)云計算時代資源解耦和彈性伸縮的訴求。其中云原生分布式文件系統(tǒng)LindormDFS為統(tǒng)一的存儲底座，向上構(gòu)建各個垂直專用的多模數(shù)據(jù)引擎，包括寬表引擎、時序引擎、搜索引擎、流引擎等。在多模引擎之上，Lindorm既提供統(tǒng)一的SQL訪問，支持跨模型的聯(lián)合查詢，又提供多個開源標(biāo)準(zhǔn)接口（HBase/Cassandra、OpenTSDB/InfluxDB、Kafka、HDFS），滿足存量業(yè)務(wù)無縫遷移的需求。最后，數(shù)據(jù)通道服務(wù)（LTS）負(fù)責(zé)引擎之間的數(shù)據(jù)流轉(zhuǎn)和數(shù)據(jù)變更的實時捕獲，以實現(xiàn)數(shù)據(jù)遷移、實時訂閱、數(shù)湖轉(zhuǎn)存、數(shù)倉回流、單元化多活、備份恢復(fù)等能力。

分布式文件系統(tǒng)

LDFS（Lindorm DFS）是面向云基礎(chǔ)存儲設(shè)施設(shè)計、兼容HDFS協(xié)議的分布式存儲系統(tǒng)，并同時支持運行在本地盤環(huán)境，以滿足部分大客戶的需求，向多模引擎和外部計算系統(tǒng)提供統(tǒng)一的、與環(huán)境無關(guān)的標(biāo)準(zhǔn)接口，整體架構(gòu)如下：

LDFS提供性能型、標(biāo)準(zhǔn)型、容量型等多種規(guī)格，并且面對真實場景的數(shù)據(jù)冷熱特點，支持性能型/標(biāo)準(zhǔn)型、容量型多種存儲混合使用的形態(tài)，以適應(yīng)真實場景的數(shù)據(jù)冷熱特點，可結(jié)合多模引擎的冷熱分離能力，實現(xiàn)冷熱存儲空間的自由配比，讓用戶的海量數(shù)據(jù)進(jìn)一步享受云計算的低成本紅利。

在計算分析、備份歸檔、數(shù)據(jù)導(dǎo)入等場景，Lindorm支持外部系統(tǒng)通過LDFS直接訪問多模數(shù)據(jù)引擎的底層文件，從而大幅提升數(shù)據(jù)的讀寫效率。例如用戶可以在離線計算系統(tǒng)直接生成底層數(shù)據(jù)格式的物理文件，導(dǎo)入至Lindorm中，以減少對在線服務(wù)的影響。

寬表引擎

LindormTable是面向海量半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)設(shè)計的分布式NoSQL系統(tǒng)，適用于元數(shù)據(jù)、訂單、賬單、畫像、社交、feed流、日志等場景，兼容HBase、Cassandra等開源標(biāo)準(zhǔn)接口。其基于數(shù)據(jù)自動分區(qū)+分區(qū)多副本+LSM的架構(gòu)思想，具備全局二級索引、多維檢索、動態(tài)列、TTL等查詢處理能力，支持單表百萬億行規(guī)模、高并發(fā)、毫秒級響應(yīng)、跨機(jī)房強(qiáng)一致容災(zāi)，高效滿足業(yè)務(wù)大規(guī)模數(shù)據(jù)的在線存儲與查詢需求。面向海量半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)設(shè)計的分布式NoSQL系統(tǒng)，能夠兼容HBase、Cassandra等開源標(biāo)準(zhǔn)接口。整體架構(gòu)如下：

LindormTable的數(shù)據(jù)持久化存儲在LDFS中，表的數(shù)據(jù)通過自動Sharding分散到集群中的多臺服務(wù)器上，并且每一個分區(qū)可以擁有1至N個副本，這N個副本擁有主、從兩種角色，主從副本可以加載在不同的Zone，從而保障集群的高可用和強(qiáng)一致。針對不同的一致性模式，主從副本之間的數(shù)據(jù)同步和讀寫模式如下：

• 強(qiáng)一致模式。只有主副本提供讀寫，數(shù)據(jù)會異步回放到從副本，主副本所在節(jié)點故障，從副本晉升為主副本。晉升之前會保障數(shù)據(jù)同步完成，從副本擁有所有最新數(shù)據(jù)，整體過程由Master協(xié)調(diào)負(fù)責(zé)。

• 最終一致模式。主從副本都提供讀寫，數(shù)據(jù)會相互同步，保證副本之間的數(shù)據(jù)最終一致。

LindormTable的多副本架構(gòu)基于PACELC理念設(shè)計，每一個數(shù)據(jù)表都支持單獨支持設(shè)置一致性模式，從而擁有不同的可用性和性能。在最終一致模式下，服務(wù)端會對每一個讀寫請求在一定條件下觸發(fā)多副本并發(fā)訪問，從而大幅提升請求的成功率和減少響應(yīng)毛刺。該并發(fā)機(jī)制建立在內(nèi)部的異步訪問框架上，相比于啟動多線程，額外資源消耗可以忽略不計。對于并發(fā)訪問的觸發(fā)條件，主要包括兩個類型：

• 限時觸發(fā)，對于每一個請求，都可以單獨設(shè)置一個GlitchTimeout，當(dāng)請求運行時間超過該值未得到響應(yīng)后，則并發(fā)一個請求到其他N-1個副本，最終取最快的那個響應(yīng)。

• 黑名單規(guī)避，服務(wù)端內(nèi)部會基于超時、拋錯、檢測等機(jī)制，主動拉黑存在慢、停止響應(yīng)等問題的副本，使得請求能夠主動繞開受軟硬件缺陷的節(jié)點，讓服務(wù)最大可能保持平滑。比如在掉電斷開的場景下，在節(jié)點不可服務(wù)至失去網(wǎng)絡(luò)心跳往往會存在一兩分鐘的延遲，利用LTable的這種多副本協(xié)同設(shè)計，可以大幅提升服務(wù)的可用性。

LindormTable的LSM結(jié)構(gòu)面向冷熱分離設(shè)計，支持用戶的數(shù)據(jù)表在引擎內(nèi)自動進(jìn)行冷熱分層，并保持透明查詢，其底層結(jié)合LStore的冷熱存儲混合管理能力，大幅降低海量數(shù)據(jù)的總體存儲成本。

LindormTable提供的數(shù)據(jù)模型是一種支持?jǐn)?shù)據(jù)類型的松散表結(jié)構(gòu)。相比于傳統(tǒng)關(guān)系模型，LindormTable除了支持預(yù)定義字段類型外，還可以隨時動態(tài)添加列，而無需提前發(fā)起DDL變更，以適應(yīng)大數(shù)據(jù)靈活多變的特點。同時，LindormTable支持全局二級索引、倒排索引，系統(tǒng)會自動根據(jù)查詢條件選擇最合適的索引，加速條件組合查詢，特別適合如畫像、賬單場景海量數(shù)據(jù)的查詢需求。

時序引擎

LindormTSDB是面向海量時序數(shù)據(jù)設(shè)計的分布式時序引擎，兼容開源OpenTSDB等標(biāo)準(zhǔn)接口，其基于時序數(shù)據(jù)特點和查詢方式，采用Timerange+hash結(jié)合的分區(qū)算法，時序?qū)Ｏ騼?yōu)化的LSM架構(gòu)和文件結(jié)構(gòu)，支持海量時序數(shù)據(jù)的低成本存儲、預(yù)降采樣、聚合計算、高可用容災(zāi)等，高效滿足IoT/監(jiān)控等場景的測量數(shù)據(jù)、設(shè)備運行數(shù)據(jù)的存儲處理需求，整體架構(gòu)如下：

TSCore是時序引擎中負(fù)責(zé)數(shù)據(jù)組織的核心部分，其整體思想與LSM結(jié)構(gòu)相似，數(shù)據(jù)先寫入Memchunk，然后Flush到磁盤，但由于時序數(shù)據(jù)天然的順序?qū)懭胩卣鳎ㄏ驅(qū)Ｓ玫臅r序文件TSFile的結(jié)構(gòu)設(shè)計為以時間窗口進(jìn)行切片，數(shù)據(jù)在物理和邏輯上均按時間分層，從而大幅減少Compaction的IO放大，并使得數(shù)據(jù)的TTL、冷熱分離等實現(xiàn)非常高效。

TSCompute是負(fù)責(zé)時序數(shù)據(jù)實時計算的組件，重點解決監(jiān)控領(lǐng)域常見的降采樣轉(zhuǎn)換和時間線聚合需求，通過Lindorm Stream進(jìn)行數(shù)據(jù)訂閱，并完全基于內(nèi)存計算，所以，整體非常的輕量、高效，適合系統(tǒng)已預(yù)置的計算功能。針對部分靈活復(fù)雜的分析需求，用戶仍可以通過對接Spark、Flink等系統(tǒng)實現(xiàn)，從而支撐更多場景和適應(yīng)業(yè)務(wù)變化。

搜索引擎

LindormSearch是面向海量數(shù)據(jù)設(shè)計的分布式搜索引擎，兼容開源Solr標(biāo)準(zhǔn)接口，同時可無縫作為寬表、時序引擎的索引存儲，加速檢索查詢。其整體架構(gòu)與寬表引擎一致，基于數(shù)據(jù)自動分區(qū)+分區(qū)多副本+Lucene的結(jié)構(gòu)設(shè)計，具備全文檢索、聚合計算、復(fù)雜多維查詢等能力，支持水平擴(kuò)展、一寫多讀、跨機(jī)房容災(zāi)、TTL等，滿足海量數(shù)據(jù)下的高效檢索需求，具體如下：

LindormSearch的數(shù)據(jù)持久化存儲在LDFS中，通過自動Sharding的方式分散到多臺SearchServer中，每一個分片擁有多個副本，支持一寫多讀，提升查詢聚合的效率，同時這些副本之間共享存儲，有效消除副本之間的存儲冗余。

在Lindorm系統(tǒng)中，LindormSearch既可以作為一種獨立的模型，提供半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的松散文檔視圖，適用于日志數(shù)據(jù)分析、內(nèi)容全文檢索；也可以作為寬表引擎、時序引擎的索引存儲，對用戶保持透明，即寬表/時序中的部分字段通過內(nèi)部的數(shù)據(jù)鏈路自動同步搜索引擎，而數(shù)據(jù)的模型及讀寫訪問對用戶保持統(tǒng)一，用戶無需關(guān)心搜索引擎的存在，跨引擎之間的數(shù)據(jù)關(guān)聯(lián)、一致性、查詢聚合、生命周期等工作全部由系統(tǒng)內(nèi)部協(xié)同處理，用簡單透明的方式發(fā)揮多模融合的價值。

流引擎

LindormStream是面向流式數(shù)據(jù)處理的引擎，提供了流式數(shù)據(jù)的存儲和輕計算功能，兼容Kafka API和Flink SQL，幫助業(yè)務(wù)基于Lindorm快速構(gòu)建基于流式數(shù)據(jù)的處理和應(yīng)用。

LindormStream內(nèi)部包含流存儲、流計算兩大組件，通過兩者的一體化部署和深度融合，支持流數(shù)據(jù)的高性能實時處理。其中，流存儲負(fù)責(zé)消息日志數(shù)據(jù)的寫入和訂閱，兼容開源Kafka API，并且數(shù)據(jù)持久化存儲在底層LDFS中，具備高吞吐、低成本、彈性等優(yōu)勢。流計算負(fù)責(zé)消息日志的實時處理，兼容Flink SQL語法，計算結(jié)果數(shù)據(jù)可以同步至Lindorm寬表引擎、時序引擎等。

計算引擎

計算引擎是基于云原生架構(gòu)提供的分布式計算服務(wù)，計算節(jié)點運行在阿里云Serverless Kubernetes（簡稱ASK）容器服務(wù)中。計算引擎支持社區(qū)版計算模型以及編程接口，同時深度融合Lindorm存儲引擎特性，充分利用底層數(shù)據(jù)存儲特征以及索引能力，高效地完成分布式作業(yè)任務(wù)。在數(shù)據(jù)生產(chǎn)、交互式分析和機(jī)器學(xué)習(xí)等場景中，提供高性能計算服務(wù)。Spark作業(yè)執(zhí)行中，計算引擎提供了作業(yè)管理接口，您可以通過Spark Web UI（簡稱SparkUI）界面對Spark作業(yè)進(jìn)行完整的監(jiān)控運維。

AI引擎

AI引擎是Lindorm在數(shù)據(jù)庫內(nèi)集成AI能力對多模數(shù)據(jù)（時序、文本、圖像、音視頻等）進(jìn)行一站式智能分析和處理的引擎，包括LLM、文生圖、圖生圖、圖片識別等。其支持用戶使用SQL從開源模型平臺（包括ModelScope、HuggingFace）靈活導(dǎo)入預(yù)訓(xùn)練模型，也支持用戶上傳自己的模型，輕松實現(xiàn)在Lindorm內(nèi)的模型部署和推理。

Lindorm AI引擎采用云原生架構(gòu)，支持彈性部署云上多種規(guī)格的推理節(jié)點，且推理節(jié)點支持多種機(jī)型（CPU和GPU），有效提升模型推理的性能。此外，推理節(jié)點和多模引擎存儲共享，在減少數(shù)據(jù)傳輸成本的同時實現(xiàn)了靠近數(shù)據(jù)的推理優(yōu)化。