1.7.0內(nèi)核版本發(fā)布說明

• 新增aliyun-timestream時序增強插件，支持TimeStream時序類型索引的增刪改查，降低時序場景門檻。詳細(xì)信息，請參見TimeStream時序增強引擎介紹。

• 支持使用PromQL查詢數(shù)據(jù)。詳細(xì)信息，請參見基于TimeStream對接Prometheus+Grafana實現(xiàn)可觀測性。

1.10.0內(nèi)核版本發(fā)布說明

• 新增、優(yōu)化特性

  • OpenStore：

    • OpenStore存儲引擎支持冷熱分離版本平滑升級智能混合存儲版本，升級過程采用藍(lán)綠變更，不影響在線服務(wù)。

    • OpenStore存儲引擎任務(wù)調(diào)度優(yōu)化，通過實時的網(wǎng)絡(luò)流量控制任務(wù)并發(fā)和避免擁塞，物理復(fù)制和數(shù)據(jù)降級效率顯著提升。

    • OpenStore存儲性能提升：

      • 混合存儲寫入鏈路優(yōu)化，寫入性能對齊ES原生索引。

      • 優(yōu)化元信息管理，減少磁盤的IOUtil毛刺，提升查詢穩(wěn)定性。

  • Store/Snapshot：

    優(yōu)化LuceneVerifyIndexOutput實現(xiàn)，提升索引恢復(fù)速度。更多信息，請參見ES pull 96975。

  • Cluster Coordination

    持久化任務(wù)不再引用ClusterState，大規(guī)模集群中會導(dǎo)致master節(jié)點內(nèi)存升高，為避免大規(guī)模集群選主超時，cluster.election.initial_timeout默認(rèn)值從100 ms改成1 s。更多信息，請參見ES pull 90724。

  • Indexing Service穩(wěn)定性增強：

    • 增加unfollow開關(guān)，支持在異常時臨時停止unfollow流程，加速異常問題解決。

    • unfollow提交follower master任務(wù)優(yōu)化，避免follower集群索引unfollow時由于reopen等操作對master的壓力。

    • 寫入重試邏輯優(yōu)化，解決索引新建過程中由于寫入重試導(dǎo)致的Indexing Service穩(wěn)定性問題。

  • Search

    • 增加端到端查詢超時功能，有效控制查詢整體耗時，支持在超時情況下返回部分結(jié)果。

    • 訪問日志增加部分字段。

• Bug修復(fù)

  • OpenStore：

    • 修復(fù)主備切換過程中并發(fā)refresh導(dǎo)致的分片分配失敗問題。

    • 修復(fù)元信息訪問過程讀寫鎖使用不當(dāng)導(dǎo)致的查詢線程ThreadLocalMap堆積問題。

  • Indexing Service：

    修復(fù)跨集群物理復(fù)制過程存在不合理使用網(wǎng)絡(luò)線程池導(dǎo)致的查詢抖動問題。

  • Lucene：

    修復(fù)Lucene Merge引用的DV update索引文件，被并發(fā)flush操作刪除的問題。更多信息，請參見Lucene。

1.9.0內(nèi)核版本發(fā)布說明

• 新增、優(yōu)化特性

  • 內(nèi)核增強版并發(fā)查詢框架重構(gòu)和優(yōu)化：

    • 優(yōu)化并發(fā)框架，降低查詢耗時。

    • 實現(xiàn)了內(nèi)存復(fù)用，優(yōu)化JVM內(nèi)存熔斷和GC開銷問題，充分提高資源利用。

    • 降低原文fetch并發(fā)中fetch階段的耗時。例如，size為10000的場景，fetch階段可以降低6~10倍耗時，整體耗時可以降低50%。

    • 適配更多的聚合查詢，包括PercentilesAggregation、PercentileRanksAggregation、SamplerAggregation、DiversifiedAggregation、SignificantTextAggregation、GeoDistanceAggregation、GeoHashGridAggregation、GeoTileGridAggregation、GeoBoundsAggregation、GeoCentroidAggregation、ScriptedMetricAggregation。

  • 端到端的訪問日志增加查詢耗時、traceId等字段，可以使用traceId串聯(lián)查詢流程。

  • 通過優(yōu)化自定義原文索引結(jié)構(gòu)和mapping解析，實現(xiàn)原文寫入優(yōu)化，使原文寫入性能提升一倍。

  • OpenStore

    • OpenStore智能混合存儲實例，對業(yè)務(wù)索引默認(rèn)開啟混合存儲特性，增強產(chǎn)品易用性。

    • OpenStore智能混合存儲實例，提高元數(shù)據(jù)存儲可靠性。例如，本地盤壞盤時保證元數(shù)據(jù)不丟失。

    • OpenStore智能混合存儲實例，消除大文件寫入導(dǎo)致的IO Util毛刺。

    • 優(yōu)化Lucene層面termVectorsReader使用不當(dāng)造成ES management線程ThreadLocalMap的堆積問題。

    • OpenStore存儲實例查詢性能提升：

      • 默認(rèn)對倒排鏈讀取開啟預(yù)讀策略，倒排鏈查詢性能提升30%。

      • 進程重啟后，加速其查詢本地Page Cache的速度。

• 通過以下代碼開啟Cache，解決某些場景中主查詢少，子查詢多，而未對子查詢開啟緩存的問題。

  PUT _cluster / settings 
  {
  	"persistent": {
  		"search.query_cache_get_wait_lock_enable": "true",
  		"search.query_cache_skip_factor": "200000000"
  	}
  }

• 優(yōu)化knn場景主副本分片點位不一致問題。

• Bug修復(fù)

  • 修復(fù)藍(lán)綠變更時，當(dāng)節(jié)點上面Shard遷移后， 執(zhí)行GET _cat/node異常的問題。

  • 解決OpenStore智能混合存儲實例斷電重啟時事務(wù)日志丟失，導(dǎo)致分片分配失敗的問題。

  • 解決OpenStore智能混合存儲實例頻繁切換主分片時索引文件被誤刪，影響分片分配失敗的問題。

1.8.0內(nèi)核版本發(fā)布說明

新增aliyun-timestream時序增強插件，支持TimeStream時序類型索引的增刪改查，降低時序場景門檻，并支持使用PromQL查詢數(shù)據(jù)以及按照InfluxDB的行協(xié)議寫數(shù)據(jù)。詳細(xì)信息請參見TimeStream時序增強引擎介紹和基于TimeStream對接Prometheus+Grafana實現(xiàn)可觀測性和TimeStream集成InfluxDB寫協(xié)議接口。

1.7.1內(nèi)核版本發(fā)布說明

新增特性

• OpenStore智能混合存儲上線，突破傳統(tǒng)冷熱分離架構(gòu)，大幅降低數(shù)據(jù)接入的復(fù)雜度及存儲成本。您無須提前規(guī)劃購買熱數(shù)據(jù)存儲空間，存儲按實際用量付費；也無須手動配置冷熱生命周期策略，系統(tǒng)會自動進行數(shù)據(jù)分層。

• 開啟Indexing Service索引構(gòu)建服務(wù)后，支持設(shè)置取消托管時長，提升云上寫入托管的穩(wěn)定性。

1.7.0內(nèi)核版本發(fā)布說明

• 新增特性

  Analyticsearch查詢優(yōu)化上線，基于日志檢索插件實現(xiàn)查詢性能大幅提升，具體說明如下：

  • 日志檢索場景，例如Kibana Discover查詢加速，優(yōu)化索引合并策略及Date_histogram執(zhí)行計劃策略，無條件或單條件查詢性能提升6倍以上（日增量>1 TB數(shù)據(jù)量的場景下，分鐘級查詢可優(yōu)化至5s內(nèi)）。

  • 優(yōu)化并發(fā)查詢，實現(xiàn)召回過程的并發(fā)，提高資源利用率，日志場景召回階段平均耗時降低50%。

  • 只讀小segment在Force Merge前持續(xù)合并，相比合并前查詢性能提升20%。

• 性能優(yōu)化

  • 協(xié)調(diào)節(jié)點和數(shù)據(jù)節(jié)點間寫入請求傳輸使用輕量級壓縮算法LZ4，節(jié)點網(wǎng)絡(luò)帶寬開銷降低30%。

  • 優(yōu)化Force Merge任務(wù)的并發(fā)粒度至分片級別，降低Force Merge耗時。

  • 支持配置原文大塊壓縮并優(yōu)化ZSTD壓縮算法參數(shù)，原文大小降低8%；通過優(yōu)化Backports lucene postings pfor編碼，索引大小降低3%。

  • 當(dāng)用戶集群寫入量較大，為緩解寫入托管服務(wù)Indexing Service集群資源壓力，可平滑遷移至更充足的資源空間，對用戶集群無影響。

• Bug修復(fù)

  • 修復(fù)aliyun-codec插件中，source_reuse_doc_values特性不支持帶.的字段名問題。

  • 修復(fù)開啟Indexing Service索引構(gòu)建服務(wù)的內(nèi)核增強版集群，在執(zhí)行force_merge取消托管時，遇到分片relocating狀態(tài)長時間卡住的問題。

1.6.0內(nèi)核版本發(fā)布說明

• 支持OpenStore冷熱共享計算模式，提供冷熱共享計算數(shù)據(jù)節(jié)點及查詢性能優(yōu)化，無須單獨購買冷數(shù)據(jù)節(jié)點即可存儲海量日志數(shù)據(jù)，詳細(xì)信息請參見OpenStore智能存儲引擎介紹。

• 新增cold-search插件，支持OpenStore冷熱數(shù)據(jù)共享查詢能力，滿足冷熱索引的CPU和內(nèi)存隔離熔斷要求，詳細(xì)信息請參見使用冷熱隔離插件（cold-search）。

• 在aliyun-codec插件中新增source復(fù)用docvalue特性，進一步降低索引大小及成本，詳細(xì)信息請參見使用aliyun-codec插件。

• 更新aliyun-qos插件2.0版本，支持更細(xì)粒度的限流類型和限流參數(shù)設(shè)置，詳細(xì)信息請參見使用集群限流插件（aliyun-qos）。

1.5.0內(nèi)核版本發(fā)布說明

• 支持OpenStore存儲，提供低成本存儲能力，詳細(xì)信息請參見OpenStore智能存儲引擎介紹。

• 支持aliyun-codec插件，增強內(nèi)核壓縮性能，詳細(xì)信息請參見使用aliyun-codec插件。

• 優(yōu)化Indexing Service功能，并修復(fù)前端索引刪除后，底層索引未刪除的bug，詳細(xì)信息請參見Indexing Service系列介紹。

• 修復(fù)search_as_you_type漏洞，詳細(xì)信息請參見search_as_you_type。

1.4.0內(nèi)核版本發(fā)布說明

• 更新aliyun-knn插件，優(yōu)化寫入性能，使寫入性能相對于老版本有所提升；同時支持script查詢，并集成了smind硬件優(yōu)化后的指令，豐富了向量檢索功能。

• 增強aliyun-qos分布式限流插件功能，提供了集群級別的限流能力，使您無需再關(guān)注內(nèi)部節(jié)點的實際拓?fù)浜拓?fù)載情況，各節(jié)點之間能夠自適應(yīng)分配流量比例，易用性與穩(wěn)定性相比單機版QoS有顯著提升。

• 支持Indexing Service系列，提升租戶集群穩(wěn)定性。

1.3.0內(nèi)核版本發(fā)布說明

• 提供慢查詢隔離池，降低異常查詢對集群穩(wěn)定性的影響。

• 提供gig流控插件，實現(xiàn)機器異常秒級切流，降低壞節(jié)點導(dǎo)致查詢抖動的概率。

  說明

  在商業(yè)版7.10.0中，gig流控插件默認(rèn)集成在aliyun-qos集群限流插件中（默認(rèn)已安裝），不需要單獨安裝。

• 支持通用物理復(fù)制功能，提高有副本索引的寫入性能。

• 支持時序查詢剪枝功能，提高含時序字段范圍的查詢性能。

• 支持查詢access.log，包括請求時間、客戶端來源和請求內(nèi)容等，可用于問題排查和請求分析。

• 主節(jié)點調(diào)度性能提升10倍，支持調(diào)度更多分片數(shù)。