您在使用E-MapReduce(簡稱EMR)過程中,某些非產品預期的操作可能會導致集群的不穩定甚至集群的不可用,為了避免這種問題,請您認真閱讀本文。本文為您介紹了EMR的一些使用限制。
在使用EMR時,所有操作都需要在EMR控制臺上執行,通常不建議您在ECS控制臺上進行操作,不合適的操作可能導致集群不穩定或異常。因此請您仔細閱讀本文,如果遇到文檔中的操作導致的問題或故障,需由您自行承擔后果或提前購買專家服務。
高危操作(禁止)
操作 | 可能的結果 | 建議 |
禁止刪除或者修改etc/hosts目錄下的hosts文件 | 集群關聯不到節點上的服務,導致服務異常。 | 增加hosts信息。 |
禁止直接在ECS控制臺上修改組件配置文件的參數 | 服務重啟后,導致修改的參數被覆蓋。 | 在EMR控制臺上修改參數配置。 |
禁止在ECS控制臺或通過ECS提供的API重新部署ECS實例 | 影響EMR服務。 | 無。 |
禁止在ECS控制臺或通過ECS提供的API對EMR節點掛載磁盤 | 因為EMR無法識別和初始化磁盤,所以會導致磁盤不可用。 | 無。 |
禁止在ECS控制臺或通過ECS提供的API對EMR節點卸載磁盤 | 因為EMR無法感知到卸載磁盤操作,所以容易導致數據丟失。 | |
禁止在ECS控制臺或通過ECS提供的API直接刪除Core節點 | 導致數據丟失和在刪除節點上的作業執行失敗。 | 無。 |
禁止在ECS控制臺或通過ECS提供的API直接刪除Master節點 |
| 無。 |
禁止在ECS控制臺或通過ECS提供的API直接刪除Task節點 | 執行在刪除節點上的作業執行失敗。 | 無。 |
禁止停止Master的MySQL服務(創建集群時,元數據選擇集群內置MySQL) | master-1-1上的MySQL服務,關聯到Hive MetaStore、Oozie和Ranger,如果停止服務,會造成支持的服務無法訪問到數據庫。 | 無。 |
禁止修改master-1-1節點上預裝的MySQL root密碼(創建集群時,元數據選擇集群內置MySQL) | 導致EMR的Hue或Ranger等組件失敗。 | 無。 |
禁止在ECS控制臺或通過ECS提供的API修改ECS節點的安全組、VPC和交換機 |
| 無。 |
禁止在ECS控制臺或通過ECS提供的API轉換計費方式 | 導致無法轉回原來的計費方式。 | 在EMR控制臺進行計費方式的轉換,詳情請參見按量付費轉包年包月。 重要 EMR不支持從包年包月轉換為按量付費的計費方式。 |
禁止刪除管控Agent目錄。 | 影響EMR集群正常運行。 | 無。 |
常見問題處理
問題 | 建議 |
磁盤容量不足 | 因為EMR集群的Master節點不支持磁盤數量的增加,所以您可以在EMR控制臺調大單塊磁盤的容量,或擴容Core節點。 |
磁盤容量過剩 | 因為EMR集群不支持磁盤容量縮容,所以您可以重新購買集群,詳情請參見創建集群。 |
計算能力不足 | 您可以在EMR控制臺上擴容Task節點,詳情請參見擴容集群。 |
計算能力過剩 | 根據集群區分如下:
|
組件版本過低 | 因為EMR集群不支持單組件版本升級,所以您可以重新購買高版本的集群,詳情請參見創建集群。 |
轉化非HA集群為HA集群 | EMR集群暫不支持非HA集群轉為HA集群,建議您重新購買HA集群。 |
在EMR上部署第三方軟件或服務 | 建議您在集群創建時通過引導操作安裝第三方軟件或服務。 如果集群創建后手工安裝第三方軟件或服務,在擴容時,新擴容節點需重新手工安裝第三方軟件或服務。 |