日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

選型配置說明

更新時間:

選擇合適的集群是E-MapReduce產品使用的第一步。E-MapReduce配置選型不僅要考慮企業大數據使用場景、估算數據量、服務可靠性要求,還應該考慮企業預算。

大數據使用場景

E-MapReduce各集群的場景和核心組件如下表。

說明

具體各集群類型支持的組件以控制臺實際展示為準。

集群類型

場景介紹

核心組件

DataLake

云原生數據湖場景,提供Hive和Spark計算引擎,適用于數據湖場景和離線數據分析等情況,支持多種數據湖格式如DeltaLake、Hudi和Iceberg。

HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等

Dataflow

實時數據流場景,其中核心組件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop構建的企業級大數據計算平臺。

Kafka提供一套完整的服務監控體系和元數據管理。廣泛用于日志收集和監控數據聚合等場景,支持離線或流式數據處理以及實時數據分析等。

Flink 、Kafka、YARN

OLAP

數據分析場景,其中核心組件ClickHouse是一個面向聯機分析處理(OLAP)的開源的面向列式存儲的DBMS,與Hadoop和Spark相比,ClickHouse更輕量級。ClickHouse支持線性擴展,簡單方便,具有高可靠性和高容錯。

StarRocks是開源MPP(Massively Parallel Processing)架構的OLAP分析引擎,支持亞秒級的數據查詢和多表JOIN功能。

ClickHouse、StarRocks、Zookeeper

DataServing

數據服務場景,提供更靈活、可靠、高效的數據服務集群。提供HBase服務,同時可以基于OSS-HDFS(JindoFS服務)解耦計算集群與數據存儲。支持JindoData本地緩存以進一步提高數據服務集群的讀寫性能。

HBase、Zookeeper、JindoData

E-MapReduce節點

E-MapReduce節點有主實例(Master)、核心實例(Core)和計算實例(Task)三種實例類型。詳情請參見實例類型

E-MapReduce存儲可以采用高效云盤、本地盤、SSD云盤和SSD本地盤。磁盤性能為SSD本地盤 > SSD云盤 > 本地盤 > 高效云盤。

E-MapReduce底層存儲支持OSS(僅標準型OSS)和HDFS。相對于HDFS,OSS的數據可用性更高(99.99999999%),HDFS的數據可用性由云盤或本地盤存儲的可靠性來保證。歸檔數據和深度歸檔數據需要解凍為標準型存儲才能參與EMR引擎計算。

存儲價格估算如下:

  • 本地盤實例存儲為0.04 元/GB/月

  • OSS標準型存儲為0.12 元/GB/月

  • OSS歸檔型存儲為0.033 元/GB/月

  • OSS深度歸檔型存儲為0.015 元/GB/月

  • 高效云盤存儲為0.35 元/GB/月

  • SSD云盤存儲為1.00 元/GB/月

云盤的具體價格信息,請參見詳細定價

E-MapReduce選型

  • Master節點選型

    • Master節點主要部署Hadoop的Master進程。例如,NameNode和ResourceManager等。

    • 生產集群建議打開高可用HA,E-MapReduce的HDFS、YARN、Hive和HBase等組件均已實現HA。生產集群建議在創建集群時開啟高可用。如果創建集群時未開啟高可用,則在后續使用過程中無法開啟高可用功能。

    • Master節點主要用來存儲HDFS元數據和組件Log文件,屬于計算密集型,對磁盤IO要求不高。HDFS元數據存儲在內存中,建議根據文件數量選擇16 GB以上內存空間。

  • Core節點選型

    Core節點和Task節點的區別在于,Core節點會同時運行DataNode和Nodemanager。即便如此,還是建議您存儲數據到OSS或者OSS-HDFS上,集群中的HDFS僅作為YARN任務分發的臨時存儲空間使用。您可以使用通用機型配合ECS云盤的方式來作為Core節點的機型配置。例如,g7.4xlarge + 4 * 100 GiB。

  • Task節點選型

    Task節點主要用來補充Core節點CPU和內存計算能力的不足,節點并不存儲數據,也不運行DataNode。您可以根據CPU和內存需求來估算實例個數。

E-MapReduce生命周期

E-MapReduce支持彈性擴展,可以快速的擴容,靈活調整集群節點配置,或者升配ECS節點。

可用區選擇

為保證效率,您應該部署E-MapReduce與業務系統在同一地域的同一個可用區。