使用索引壓縮插件beta版本(codec-compression)
codec-compression是阿里云Elasticsearch(簡稱ES)團(tuán)隊(duì)自主開發(fā)的索引壓縮插件,支持brotli和zstd壓縮算法,具有更高的索引壓縮比,可以大幅降低索引的存儲成本。
前提條件
您已完成以下操作:
創(chuàng)建阿里云ES實(shí)例(6.7.0版本),詳情請參見創(chuàng)建阿里云Elasticsearch實(shí)例。
重要codec-compression插件目前只支持阿里云ES 6.7.0版本,因此請創(chuàng)建6.7.0版本的實(shí)例。
安裝codec-compression插件(新購實(shí)例默認(rèn)已安裝)。
您可在插件配置頁面查看是否已安裝codec-compression插件,如果還未安裝,請手動進(jìn)行安裝,安裝方法請參見安裝或卸載系統(tǒng)默認(rèn)插件。
背景信息
codec-compression插件支持brotli和zstd壓縮算法,適用于寫入量大、索引存儲成本高的場景,例如日志場景、時(shí)序分析場景等,可以大大降低索引的存儲成本。性能測試信息如下:
測試環(huán)境
機(jī)器配置:數(shù)據(jù)節(jié)點(diǎn)16核64 GB*3 + 2 TB SSD云盤。
數(shù)據(jù)集:官方esrally自帶的nyc_taxis(74 GB)。
索引配置:都使用默認(rèn)配置,寫入完成后都可以進(jìn)行force merge。
測試結(jié)果
壓縮算法
索引大小(GB)
寫入TPS(doc/s)
ES默認(rèn)壓縮算法(LZ4)
35.5
202682
best_compression(DEFLATE)
26.4
181686
brotli
24.4
182593
zstd
24.6
181393
結(jié)論
codec-compression插件使用的brotli和zstd壓縮算法,與默認(rèn)壓縮算法(LZ4)相比,寫入性能下降了10%,壓縮率提升了45%,查詢性能不變;與原生best_compression(DEFLATE)相比,寫入性能不變,壓縮率提升了8%,查詢性能不變。
操作步驟
登錄Kibana控制臺。
登錄控制臺的具體步驟請參見登錄Kibana控制臺。
在左側(cè)導(dǎo)航欄,單擊Dev Tools(開發(fā)工具)。
在Console中,分別執(zhí)行如下命令,為索引指定不同的壓縮算法。
brotli壓縮算法
PUT index-1 { "settings": { "index": { "codec": "brotli" } } }
zstd壓縮算法
PUT index-1 { "settings": { "index": { "codec": "zstd" } } }