日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

Trino擴縮容

包含Trino組件的集群,當查詢速度不符合數據處理要求,或某些大查詢超出內存總量限制,且調整配置參數也不足以應對使用場景時,可以嘗試進行擴容,通過新增Worker節點數的方式來增加Worker數量,從而滿足業務需求。當業務高峰期已過或者當更少的資源也能滿足業務需求時,可再進行縮容,以節約成本。本文介紹如何對Trino集群進行擴縮容。

注意事項

目前EMR集群在擴容時,不能單獨選擇僅擴充某個組件,而是會使已安裝的所有組件一起在新節點觸發擴容與初始化操作。如果您的集群是Trino與Hadoop等組件混合部署的,在擴容之前需要謹慎考慮。

擴容前準備

Trino在擴容時能夠同步組件本身以及絕大部分配置項。但是,新增的UDF包、手動替換的JAR包、手動升級的組件(例如JindoSDK)、自行添加的Event Listener等無法在擴容時同步到新節點上。為避免在擴容后某些查詢失敗或結果不符合預期,建議將這些操作都編寫成腳本,在新節點創建過程中腳本會自動執行。詳情請參見管理引導操作

擴縮容操作

Trino擴容和縮容的詳細操作,請參見擴容集群縮容集群。擴縮容操作也支持定時執行,詳細信息請參見彈性伸縮概述

重要
  • 當前EMR的自動縮容操作僅支持在Task節點組上完成。如果后續有縮容需求,建議在擴容時新建Task節點組,在Task節點組中建立新節點。

  • Trino支持優雅下線,但僅可使用Restful API的方式觸發,詳情請參見官網文檔

  • 直接縮容會導致當前正在執行的任務失敗甚至卡住,建議在沒有查詢任務正在運行的時候執行縮容操作。如果這種情況已發生,重試失敗的查詢即可。

擴容后操作

擴容完成之后,新節點會自動加入集群。可以執行select * from system.runtime.nodes命令查看集群中的節點狀態。

如果在調整配置時,曾單獨調整過節點組或節點配置(而非使用集群默認配置),也需要為新節點或節點組重新配置。例如,之前僅為Core節點組單獨調整過內存,Task節點組的內存需要重新調整。

如果部分操作無法編寫腳本,在擴容之后需要手動重新操作一遍。例如,如果之前使用了動態加載UDF操作增加過UDF,且不方便將此操作編輯成腳本,就需要在擴容之后先DROP JAR,再重新添加。此時執行DROP JAR可能會報錯,這是因為在新擴容的節點上未找到對應的JAR,忽略即可。包含對應JAR的Worker節點均能夠成功執行此操作。