OpenStore冷熱共享/分離引擎介紹
OpenStore存儲引擎是阿里云Elasticsearch團隊針對日志場景自研的彈性、高效、低成本的日志存儲引擎，支持根據(jù)實際存儲數(shù)據(jù)量按量計費，無須提前預(yù)留集群存儲容量，真正做到存儲Serverless。OpenStore存儲支持自定義冷熱存儲版本與智能混合存儲版本。本文主要介紹OpenStore自定義冷熱存儲引擎的適用場景、架構(gòu)、優(yōu)勢以及性能指標。
OpenStore自定義冷熱存儲不再支持新購，如果您需要使用OpenStore存儲，請開啟Openstore智能混合存儲。詳細信息，請參見OpenStore智能存儲引擎介紹。
背景信息
在日志全觀測場景下，通常因為業(yè)務(wù)場景或監(jiān)管需求，需要長時間存儲數(shù)據(jù)或歸檔審計。在使用開源Elasticsearch的過程中，需要進行集群冷熱數(shù)據(jù)分離，將30天或者更長時間的數(shù)據(jù)通過集群快照的方式存儲在其他存儲介質(zhì)上，例如對象存儲OSS等。該方式雖然能夠?qū)崿F(xiàn)長期日志數(shù)據(jù)歸檔，但是存儲后不能直接進行查詢，查詢前需要調(diào)用相關(guān)API把快照信息恢復(fù)到集群中，等待快照中的索引初始化完成后再進行查詢，面臨著查詢復(fù)雜度大、長時間存儲成本高的問題。
OpenStore存儲引擎是阿里云Elasticsearch 7.10內(nèi)核增強版的重要功能，結(jié)合Indexing Service寫入托管服務(wù)，滿足用戶在日志場景下低成本的高并發(fā)寫入及長期數(shù)據(jù)存儲需求。您可以按需創(chuàng)建7.10內(nèi)核增強版實例，開啟OpenStore存儲功能。
如果未開啟OpenStore，OpenStore存儲默認關(guān)閉。您可以在實例基本信息頁面的節(jié)點可視化區(qū)域查看是否已開啟OpenStore功能、開啟OpenStore功能并查看OpenStore存儲信息，詳細信息請參見查看集群狀態(tài)和節(jié)點信息。
開啟OpenStore后，建議您在控制臺關(guān)閉自動快照備份功能，具體操作請參見自動備份與恢復(fù)。
適用場景
阿里云Elasticsearch自研Openstore存儲引擎，適用于有海量數(shù)據(jù)寫入及長期存儲需求，數(shù)據(jù)查詢QPS較低且查詢時延容忍度相對較高的日志檢索、指標分析等場景。
自定義冷熱存儲引擎適用于業(yè)務(wù)有強烈且明確的數(shù)據(jù)冷熱區(qū)分。例如一天內(nèi)的索引必須全部使用熱存儲，超過一天的索引必須全部使用冷存儲。
使用說明
需要單獨規(guī)劃并購買熱數(shù)據(jù)存儲空間，冷數(shù)據(jù)使用OpenStore存儲，按小時計算實際用量。價格詳情，請參見阿里云ES計費。
需要根據(jù)業(yè)務(wù)需求，由用戶配置相應(yīng)的索引生命周期ILM策略，進行冷熱數(shù)據(jù)分層管理。
根據(jù)生命周期策略，進入冷階段的數(shù)據(jù)存儲在OpenStore存儲層，不會根據(jù)查詢熱度自動轉(zhuǎn)變?yōu)闊釘?shù)據(jù)，冷熱數(shù)據(jù)轉(zhuǎn)換需要修改生命周期或者手工遷移索引數(shù)據(jù)。
優(yōu)勢
海量存儲：存儲Serverless付費，無須提前規(guī)劃及購買存儲容量，數(shù)據(jù)存儲按小時統(tǒng)計實際使用量，存儲資源使用率達到100%。
低成本：實時可修改、支持寫入更新，無須配置復(fù)雜索引生命周期，自動完成數(shù)據(jù)降級，超低使用門檻；數(shù)據(jù)存儲單價相較于使用本地SATA盤存儲成本降低了60%，相較于高效云盤降低了70%。
高可用：基于存儲計算分離架構(gòu)，多副本之間共享一份數(shù)據(jù)，不增加額外存儲成本；底層存儲服務(wù)保證集群的數(shù)據(jù)高可用，提供99.9999999999%（可達12個9）的數(shù)據(jù)持久性。
查詢性能提升：對于典型日志場景的常用查詢分析，性能相較于本地SATA提升了100%，與高效云盤或者PL0級別的ESSD云盤性能相當。
存儲架構(gòu)
使用限制
購買和使用OpenStore存儲時，存在以下使用限制。
類別 | 限制說明 |
地域 | 目前僅開放以下地域（具體以控制臺為準）：
|
實例版本 | 內(nèi)核增強版7.10版本。 |
實例規(guī)格 | 僅支持選擇OpenStore存儲型16核64 GB規(guī)格。 |
實例存儲容量 | 單節(jié)點最大存儲數(shù)據(jù)容量為30 TB。 說明 如果您有更大的單節(jié)點存儲需求，請提交工單申請，最大支持50 TB。 |
shard副本數(shù) | 冷數(shù)據(jù)存儲至OpenStore時shard副本數(shù)默認為0，數(shù)據(jù)的可靠性將由底層存儲保證。 重要 如果將OpenStore自定義冷熱存儲的索引副本數(shù)設(shè)置為1，索引將處于yellow狀態(tài)，因此不建議手動設(shè)置副本，保持默認值即可。 |
索引模板 | 開啟OpenStore自定義冷熱存儲，集群會默認提供模板openstore-index-template，模板默認使用openstore_default_ilm_policy策略。詳細信息請參見通過OpenStore自定義冷熱存儲實現(xiàn)海量數(shù)據(jù)存儲。 說明 手動刪除OpenStore存儲索引時，需要將索引及索引對應(yīng)的別名一起刪除才可刪除成功。 |
索引生命周期配置 | 不支持在索引生命周期中自定義freeze。 |
查詢限制 |
|