有狀態(tài)計(jì)算是流處理中非常復(fù)雜和有挑戰(zhàn)的場(chǎng)景。流處理的數(shù)據(jù)訪問(wèn)具有以下特點(diǎn)：

• 存在大量的隨機(jī)訪問(wèn)且很少有范圍查詢。

• 數(shù)據(jù)流量和熱點(diǎn)會(huì)更加頻繁地動(dòng)態(tài)變化，使得即便是同一算子的不同并發(fā)，也會(huì)有不同的數(shù)據(jù)訪問(wèn)模式。

GeminiStateBackend就是針對(duì)以上特點(diǎn)設(shè)計(jì)的，其核心設(shè)計(jì)亮點(diǎn)如下：

• 全新的架構(gòu)和數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)，全面的性能提升。

  GeminiStateBackend的整體架構(gòu)是在LSM數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)上設(shè)計(jì)的，包含了隨數(shù)據(jù)規(guī)模和訪問(wèn)特點(diǎn)變化而自適應(yīng)、數(shù)據(jù)冷熱分層，可以在Anti-caching和Caching架構(gòu)間靈活切換的三種能力。此外，還具備隨機(jī)查詢友好的哈希存儲(chǔ)結(jié)構(gòu)。Nexmark性能對(duì)比的結(jié)果顯示，GeminiStateBackend相比RocksDBStateBackend的性能有了較大的提升，其中約一半用例的性能領(lǐng)先RocksDB 70%以上。

• 支持存儲(chǔ)計(jì)算分離，徹底擺脫狀態(tài)數(shù)據(jù)的本地盤存儲(chǔ)限制。

  在本地盤空間限制的環(huán)境下，State較大的作業(yè)經(jīng)常會(huì)遇到本地磁盤空間不足的問(wèn)題。基于RocksDBStateBackend的作業(yè)通常需要通過(guò)擴(kuò)并發(fā)等增加資源的手段來(lái)解決該問(wèn)題。GeminiStateBackend具有存儲(chǔ)計(jì)算分離的技術(shù)，使得狀態(tài)存儲(chǔ)可以不依賴于本地盤，可以避免因本地狀態(tài)數(shù)據(jù)過(guò)大而引發(fā)作業(yè)故障的問(wèn)題。有關(guān)存儲(chǔ)計(jì)算分離相關(guān)配置，請(qǐng)參見存算分離配置。

• 支持自適應(yīng)KV分離，大幅提升雙流或多流Join作業(yè)的性能。

  雙流或多流Join作為流計(jì)算中最有挑戰(zhàn)的場(chǎng)景之一，也是狀態(tài)存儲(chǔ)會(huì)遇到瓶頸的一個(gè)典型場(chǎng)景。基于大量場(chǎng)景Join成功率較低、或者狀態(tài)數(shù)據(jù)值較長(zhǎng)的特點(diǎn)，GeminiStateBackend推出KV分離技術(shù)，可以極大提升雙流或多流Join作業(yè)的性能，且該功能可以完全自適應(yīng)調(diào)整，不需要您額外配置調(diào)優(yōu)。經(jīng)過(guò)阿里巴巴集團(tuán)雙十一核心業(yè)務(wù)驗(yàn)證，開啟KV分離后，作業(yè)吞吐能力可以提升50% ～ 70%以上，計(jì)算資源利用率平均可以提升50%，典型優(yōu)勢(shì)場(chǎng)景下可以提升100% ~ 200%。有關(guān)KV分離相關(guān)配置，請(qǐng)參見KV分離配置。

• 輕量級(jí)作業(yè)快照，顯著加速大狀態(tài)作業(yè)檢查點(diǎn)和快照完成。

  GeminiStateBackend通過(guò)支持更細(xì)粒度的作業(yè)快照，同時(shí)解耦檢查點(diǎn)與LSM的Compaction機(jī)制，讓檢查點(diǎn)和快照變得更加穩(wěn)定快速。此外，GeminiStateBackend通過(guò)支持Native Incremental Savepoint，結(jié)合實(shí)時(shí)計(jì)算產(chǎn)品提供的原生快照，讓其性能趨近檢查點(diǎn)，極大提高了快照的可用性。

• 自適應(yīng)參數(shù)調(diào)優(yōu)，告別手動(dòng)調(diào)參煩惱。

  在流計(jì)算任務(wù)中，不同算子往往具有不同的狀態(tài)訪問(wèn)模式。狀態(tài)存儲(chǔ)通常需要不同的參數(shù)組合才可以達(dá)到最佳的性能，而這些參數(shù)往往很多而且涉及底層細(xì)節(jié)，手動(dòng)調(diào)參會(huì)給您帶來(lái)較高的學(xué)習(xí)和理解成本。GeminiStateBackend通過(guò)自適應(yīng)參數(shù)調(diào)優(yōu)技術(shù)，在作業(yè)運(yùn)行時(shí)根據(jù)當(dāng)前數(shù)據(jù)訪問(wèn)模式和流量自動(dòng)調(diào)參，以達(dá)到各種場(chǎng)景下的最佳性能。經(jīng)過(guò)阿里巴巴集團(tuán)雙十一核心業(yè)務(wù)驗(yàn)證，該技術(shù)可以避免95%以上的人工調(diào)參，同時(shí)提升10% ~ 40%的單核吞吐能力。有關(guān)自適應(yīng)調(diào)參相關(guān)配置，請(qǐng)參見自適應(yīng)調(diào)參配置。

我們使用Nexmark中State瓶頸的用例和相同的硬件資源，測(cè)試并對(duì)比了RocksDBStateBackend和GeminiStateBackend的性能。

結(jié)果顯示GeminiStateBackend對(duì)作業(yè)整體效能（單核吞吐能力）的優(yōu)化效果十分顯著，具體數(shù)據(jù)如下表所示。