管理節(jié)點組
本文為您介紹DataLake、DataFlow、OLAP、DataServing和Custom集群如何新增、修改和刪除節(jié)點組。
背景信息
節(jié)點組是您使用阿里云E-MapReduece服務(wù)對集群節(jié)點進(jìn)行管理的核心單元,通常是由相同規(guī)格的ECS實例組成。您可以通過對節(jié)點組進(jìn)行操作,批量管理一個組內(nèi)的節(jié)點。您也可以根據(jù)業(yè)務(wù)規(guī)劃,創(chuàng)建不同規(guī)格的實例組。例如,內(nèi)存型實例節(jié)點(vCore : vMem = 1 vCPU : 8 GiB)用于大數(shù)據(jù)離線處理,計算型實例(vCore : vMem =1 vCPU : 2 GiB)用于模型訓(xùn)練。
Hadoop、Data Science和EMR Studio集群節(jié)點組的管理操作,請參見管理節(jié)點組(Hadoop、Data Science和EMR Studio集群)。
使用限制
本文操作僅適用于數(shù)據(jù)湖(DataLake)、實時數(shù)據(jù)流(DataFlow)、數(shù)據(jù)分析(OLAP)、數(shù)據(jù)服務(wù)(DataServing)和自定義集群(Custom)場景的集群。
付費(fèi)類型為按量付費(fèi)或搶占式實例的Task節(jié)點組不支持配置升級操作。
配置升級的具體操作,請參見升級節(jié)點配置。
新增節(jié)點組
進(jìn)入節(jié)點管理頁面。
在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組。
單擊目標(biāo)集群操作列的節(jié)點管理。
在節(jié)點管理頁面,單擊新增節(jié)點組。
在新增節(jié)點組面板中,配置以下信息。
參數(shù)
描述
節(jié)點組類型
支持新增以下四種類型的節(jié)點組:
Core:核心類型節(jié)點組。
Task:計算類型節(jié)點組。
Gateway:任務(wù)類型節(jié)點組(僅EMR-5.10.1及以上版本的DataLake、DataFlow集群支持)。
Master-Extend:負(fù)載擴(kuò)展組(僅EMR-3.51.1及以上版本,EMR-5.17.1及以上版本的高可用集群支持)。
當(dāng)集群Master節(jié)點負(fù)載較高時,您可以通過新增Master-Extend節(jié)點組將服務(wù)分散部署在不同的節(jié)點組上,來分擔(dān)Master節(jié)點的壓力。
說明新增服務(wù)后,默認(rèn)不會部署至Master-Extend節(jié)點組。如果您有部署訴求,可以在新增Master-Extend節(jié)點組時,按需勾選部署服務(wù)。
付費(fèi)類型
當(dāng)前節(jié)點組的付費(fèi)類型。支持的付費(fèi)類型有按量付費(fèi)、搶占式實例和包年包月。
說明僅Task節(jié)點組支持搶占式實例。
節(jié)點組名稱
節(jié)點組名稱不允許重復(fù)。
部署服務(wù)
僅Master-Extend節(jié)點組類型支持自定義部署服務(wù)。
支持以下自定義部署的服務(wù):
Hive:HiveMetaStore、HiveServer
Kyuubi:KyuubiServer
Spark:SparkHistoryServer、SparkThriftServer
掛載公網(wǎng)
可以選擇是否為節(jié)點組開啟公網(wǎng)。開啟后,節(jié)點組內(nèi)所有節(jié)點會掛載公網(wǎng)。
交換機(jī)
可以在新建節(jié)點組的時候設(shè)置交換機(jī)(同一VPC內(nèi))。節(jié)點組創(chuàng)建好之后不可更改。
說明不支持設(shè)置非集群所在可用區(qū)的VPC下的交換機(jī)。
附加安全組
(可選)您可以為節(jié)點組關(guān)聯(lián)更多安全組。
您最多可以為該節(jié)點組關(guān)聯(lián)4個附加安全組。
實例類型
根據(jù)您的實際情況選擇實例。
如果付費(fèi)類型為包年包月,則只能選擇一個類型。
如果付費(fèi)類型為按量付費(fèi)或搶占式實例,且節(jié)點組類型為Task,則最多可以選擇10個同vCPU和內(nèi)存的實例作為備選。
存儲配置
系統(tǒng)盤:根據(jù)需要選擇ESSD云盤或者高效云盤。系統(tǒng)盤取值范圍為60 ~ 500 GiB。推薦至少120 GiB。
數(shù)據(jù)盤:根據(jù)需要選擇ESSD云盤或者高效云盤。數(shù)據(jù)盤取值范圍為40 ~ 32768 GiB。推薦至少80 GiB。
說明當(dāng)您選擇ESSD云盤時,可以根據(jù)所選云盤的容量大小來設(shè)置不同的性能級別(PL級別),以滿足不同的集群性能需求。默認(rèn)的性能級別為PL1。根據(jù)云盤的容量范圍,系統(tǒng)盤支持PL0、PL1和PL2三個性能級別的云盤規(guī)格,數(shù)據(jù)盤支持PL0、PL1、PL2和PL3四個性能級別的云盤規(guī)格。云盤的詳細(xì)信息,請參見云盤概述。
擴(kuò)縮容策略
說明僅付費(fèi)類型選擇為搶占式實例時,支持配置該參數(shù)。
優(yōu)先級策略(默認(rèn))
每個節(jié)點創(chuàng)建時,從第一個規(guī)格開始嘗試購買,直到創(chuàng)建成功。最終購買的實例規(guī)格可能隨庫存變化而不同。
成本優(yōu)化策略
擴(kuò)容時彈性伸縮按vCPU單價從低到高嘗試創(chuàng)建ECS實例,縮容時按vCPU單價從高到低嘗試移除ECS實例。如果伸縮配置中計費(fèi)方式選擇搶占式實例,則優(yōu)先創(chuàng)建搶占式實例。由于庫存等原因無法創(chuàng)建各實例規(guī)格的搶占式實例時,再自動嘗試創(chuàng)建按量付費(fèi)實例。
更多信息,請參見成本優(yōu)化模式。
優(yōu)雅下線
說明僅部署了YARN服務(wù)的集群,支持配置該參數(shù)。
開啟優(yōu)雅下線后,節(jié)點組縮容時會等待節(jié)點任務(wù)完成或超過設(shè)定的超時時間后,再縮容節(jié)點。您可以在YARN服務(wù)頁面配置參數(shù)yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs,以修改優(yōu)雅下線超時時間。
單擊確定。
添加完成后,即可在節(jié)點管理頁面查看到新增的節(jié)點組。
修改節(jié)點組
在節(jié)點管理頁面,單擊目標(biāo)節(jié)點組所在行的節(jié)點組名稱。
在彈出的節(jié)點組屬性對話框中,您可以修改節(jié)點組的相關(guān)參數(shù)。
刪除節(jié)點組
當(dāng)Task或Core類型的節(jié)點組的狀態(tài)為運(yùn)行中,且節(jié)點數(shù)量為0時,可以刪除節(jié)點組。
在節(jié)點管理頁面,單擊目標(biāo)節(jié)點組操作列的刪除節(jié)點組。
在彈出的對話框中,單擊刪除。
成本優(yōu)化模式
該模式下,您可以制定更詳細(xì)的成本控制策略,在成本和穩(wěn)定性之間進(jìn)行調(diào)整和權(quán)衡。
參數(shù) | 描述 |
組內(nèi)最小按量節(jié)點數(shù)量 | 彈性伸縮組需要的按量實例的最小個數(shù),當(dāng)伸縮組中按量實例個數(shù)小于該值時,將優(yōu)先創(chuàng)建按量實例。 |
按量節(jié)點所占比例 | 彈性伸縮組內(nèi)最小按量節(jié)點數(shù)量滿足之后,創(chuàng)建實例中按量實例所占的比例。 |
最低價的多個實例規(guī)格 | 指定最低價的多個實例規(guī)格種類數(shù)。當(dāng)創(chuàng)建搶占實例時,將在這些規(guī)格種類中進(jìn)行均衡分布。最大值為3。 |
搶占實例補(bǔ)償 | 是否開啟競價實例的補(bǔ)償機(jī)制。開啟搶占實例補(bǔ)償后,在競價實例被回收前5分鐘左右,將主動替換掉當(dāng)前競價實例。 |
當(dāng)您不指定組內(nèi)最小按量節(jié)點數(shù)量、按量節(jié)點所占比例和最低價的多個實例規(guī)格參數(shù)時,您創(chuàng)建的是普通成本優(yōu)化伸縮組。否則,您創(chuàng)建的是成本優(yōu)化混合實例伸縮組。成本優(yōu)化混合實例伸縮組與普通成本優(yōu)化伸縮組在接口和功能方面是完全兼容的。
- 普通成本優(yōu)化伸縮組創(chuàng)建的全為按量實例
指定組內(nèi)最小按量節(jié)點數(shù)量=0,按量節(jié)點所占比例=100,最低價的多個實例規(guī)格=1。
- 普通成本優(yōu)化伸縮組優(yōu)先創(chuàng)建競價實例
指定組內(nèi)最小按量節(jié)點數(shù)量=0,按量節(jié)點所占比例=0,最低價的多個實例規(guī)格=1。
相關(guān)文檔
如果需要給節(jié)點組擴(kuò)容,詳情請參見擴(kuò)容集群。
如果需要給節(jié)點組縮容,詳情請參見縮容集群。
如果需要給磁盤擴(kuò)容,詳情請參見擴(kuò)容磁盤。
如果需要配置彈性伸縮規(guī)則,詳情請參見添加彈性伸縮規(guī)則。
如果需要查看彈性伸縮記錄,詳情請參見查看彈性伸縮活動。