數據湖集群特性介紹

可靠性

如果您啟用了集群的高可用服務，則EMR把3臺Master節點分布在底層不同的硬件上以降低故障風險。另外，考慮到Master節點在損壞情況下的修復時間，數據湖集群不再支持2臺Master模式。同時在高可用集群模式下，EMR不再支持本地MySQL（單機部署，非高可用） 作為Hive MetaStore數據庫，僅支持DLF和外部RDS兩種方式。

數據湖集群的創建以及擴容的過程中，會評估ECS的健康狀況，從而避免異常ECS加入集群；同時EMR管理器會自動識別在集群后期運行過程中出現的磁盤損壞和長時間不可讀寫等極端情況的問題，并啟動補償機制。

靈活性

調整數據湖集群的所有服務為可選，允許您根據實際需求來規劃集群應用，您甚至可以只勾選HDFS從而擁有一個獨立的分布式存儲系統的集群，或者只勾選Presto從而擁有一個獨立的Ad-Hoc集群。

由于數據湖集群默認支持Private Zone，所以集群內部節點的訪問不再依賴hosts文件，從而避免因依賴hosts文件引發的問題。

附加安全組與掛載公網

Hadoop集群默認有一個安全組，他簡單并易于使用，但無法精細化管理一個集群對外開放的端口。例如，一個集群需要對外開放HDFS的50070端口，如果此時增加一個端口入規則，則該規則會對集群所有節點有效，但實際上Core或Task并不需要開放該端口。因此數據湖集群對每一個節點組增加了最多兩個附加安全組，從而可以精細化控制節點組出入端口的規則。

另外，EMR數據湖集群將掛載公網功能移到了節點組，這樣可以更好的搭配附加安全組實現精細化的對外開放公網的管理。

Spark部署

數據湖集群在原有Hadoop2 + Spark2和Hadoop3 + Spark3的基礎上，增加了Hadoop2 + Spark3和Hadoop3 + Spark2的組合部署模式。您可以根據實際情況，選擇滿足自己的軟件組合。另外，數據湖集群支持Kyuubi，一個企業級的數據湖計算引擎Gateway，為SparkSQL提供標準化的JDBC接口，可實現多租戶和多種計算資源管理方式。

域名支持

數據湖集群優化了節點的域名，從原來的emr-header-1.cluster-13***格式調整為master-1-1.c-494bea2977d9***格式。

如果是高可用集群，則取值master-1-{1-3}并加上集群ID作為后綴組成hostname。同時，機器名顯示為emr-user@master-1-1({IP})，這意味著您可以在終端上看到當前節點的IP地址，從而進一步方便您平時的運維工作。

登錄用戶以及私鑰對

通過私鑰對的方式登錄集群時，其默認用戶名從root調整為emr-user，這樣做的出發點在于更推薦在平時節點運維時使用emr-user用戶。如果您仍然想使用root用戶，可以在登錄集群后通過sudo命令切換為root用戶。

使用私鑰對默認可以登錄數據湖集群所有節點而不僅是Master節點。如果您仍使用密碼方式登錄集群，則可以繼續使用root用戶。

新增emr-metadata命令

數據湖集群的每個節點默認增加一個可執行命令emr-metadata，該命令會輸出當前節點關于集群的相關元數據信息。例如，集群ID、節點的角色、instanceId以及網絡與硬件配置等，這可以提供您在使用引導腳本的過程中所依賴的本地節點信息。

與Hadoop集群的主要差異