產(chǎn)品簡介
開源大數(shù)據(jù)開發(fā)平臺E-MapReduce（簡稱EMR）是運(yùn)行在阿里云平臺上的一種大數(shù)據(jù)處理系統(tǒng)解決方案。EMR基于開源的Apache Hadoop和Apache Spark，讓您可以方便地使用Hadoop和Spark生態(tài)系統(tǒng)中的其他周邊系統(tǒng)分析和處理數(shù)據(jù)。EMR還可以與阿里云其他的云數(shù)據(jù)存儲系統(tǒng)和數(shù)據(jù)庫系統(tǒng)（例如，阿里云OSS和RDS等）進(jìn)行數(shù)據(jù)傳輸。
產(chǎn)品介紹
阿里云EMR提供了on ECS、on ACK和Serverless形態(tài)，以滿足不同用戶的需求。
形態(tài) | 描述 |
EMR on ECS | EMR負(fù)責(zé)將開源Hadoop生態(tài)的組件安裝部署在ECS上，并啟動相應(yīng)的服務(wù)。您可以在EMR控制臺完成對集群ECS及服務(wù)的運(yùn)維操作。 關(guān)于EMR on ECS的更多介紹，請參見什么是EMR on ECS。 |
EMR on ACK | 您需要先完成ACK集群的安裝部署。當(dāng)ACK集群準(zhǔn)備就緒后，EMR將基于ACK的資源安裝部署大數(shù)據(jù)服務(wù)組件，并在容器內(nèi)運(yùn)行。關(guān)于EMR on ACK的更多介紹，請參見什么是EMR on ACK。 |
EMR Serverless StarRocks | EMR Serverless StarRocks是開源StarRocks在阿里云上的全托管服務(wù)，您可以通過其靈活地創(chuàng)建和管理實例以及數(shù)據(jù)。本文為您介紹StarRocks的核心特性，并詳述EMR Serverless StarRocks在此基礎(chǔ)之上所引入的諸多增強(qiáng)功能與服務(wù)優(yōu)勢。 關(guān)于EMR Serverless StarRocks的更多介紹，請參見什么是EMR Serverless StarRocks。 |
EMR Serverless Spark | EMR Serverless Spark是一款云原生，專為大規(guī)模數(shù)據(jù)處理和分析而設(shè)計的全托管Serverless產(chǎn)品。它為企業(yè)提供了一站式的數(shù)據(jù)平臺服務(wù)，包括任務(wù)開發(fā)、調(diào)試、調(diào)度和運(yùn)維等，極大地簡化了數(shù)據(jù)處理的全生命周期工作流程。使用EMR Serverless Spark，企業(yè)可以更專注于數(shù)據(jù)分析和價值提煉，提高工作效率。 關(guān)于EMR Serverless Spark的更多介紹，請參見什么是EMR Serverless Spark。 |
產(chǎn)品架構(gòu)
產(chǎn)品優(yōu)勢
EMR on ECS
EMR為您提供了相對方便可控的企業(yè)級開源大數(shù)據(jù)服務(wù)。您可以快速搭建開源大數(shù)據(jù)服務(wù)，例如Hadoop、Spark、Flink、Kafka和HBase服務(wù)。
100%采用社區(qū)開源組件，適配并優(yōu)化開源組件，性能遠(yuǎn)高于開源版本。
基于時間的彈性伸縮能力，搶占式實例可進(jìn)一步降低成本。
解耦了計算與存儲之間的綁定關(guān)系，實現(xiàn)了資源的彈性利用。
分鐘級別創(chuàng)建和擴(kuò)容集群，無需手動部署和啟動服務(wù)。
EMR on ACK
節(jié)省成本：無需單獨(dú)購買ACK集群。
簡化運(yùn)維：一套運(yùn)維體系，一套集群管理，全面覆蓋大數(shù)據(jù)和在線等多種業(yè)務(wù)。
優(yōu)化體驗：支持ECS和ACK兩套IaaS資源模型，您可以無縫切換。
深度集成：完全采用云原生數(shù)據(jù)湖架構(gòu)，計算使用阿里云ACK，計算資源可以無限擴(kuò)展。
EMR Serverless StarRocks
EMR Serverless StarRocks主要在企業(yè)級功能方面做了以下增強(qiáng)：
全托管的免運(yùn)維產(chǎn)品服務(wù)形態(tài)，大大降低了運(yùn)維和使用的復(fù)雜度以及成本。
可視化的StarRocks實例管理控制臺，使得實例的整體運(yùn)維和管理更加方便。
可視化的監(jiān)控及運(yùn)維能力。
支持大、小版本自動升級，方便StarRocks進(jìn)行版本升級管理。
增加EMR StarRocks Manager，提供了企業(yè)級的StarRocks管理能力：
安全能力：支持用戶及權(quán)限管理。
診斷分析：支持可視化慢SQL，及SQL查詢分析能力。
數(shù)據(jù)管理：提供數(shù)據(jù)庫、表、分區(qū)、分片、任務(wù)的查詢能力，方便運(yùn)維管理。
EMR Serverless Spark
云原生極速計算引擎
內(nèi)置Fusion Engine (Spark Native Engine)，相對開源版本性能提升200%。
內(nèi)置Celeborn（Remote Shuffle Service），支持PB級Shuffle數(shù)據(jù)，計算資源總成本最高下降30%。
開放化的數(shù)據(jù)湖架構(gòu)
支持計算存儲分離，計算可彈性伸縮，存儲可按量付費(fèi)。
對接OSS-HDFS，完全兼容HDFS的云上存儲，無縫平滑遷移上云。
中心化的DLF元數(shù)據(jù)，全面打通湖倉元數(shù)據(jù)。
一站式的開發(fā)體驗
提供作業(yè)開發(fā)、調(diào)試、發(fā)布、調(diào)度等一站式數(shù)據(jù)開發(fā)體驗。
內(nèi)置版本管理、開發(fā)與生產(chǎn)隔離，滿足企業(yè)級開發(fā)與發(fā)布標(biāo)準(zhǔn)。
Serverless的資源平臺
開箱即用，無需手動管理和運(yùn)維云基礎(chǔ)設(shè)施。
彈性伸縮，秒級資源彈性與供給。
按量付費(fèi)，按實際計算資源量付費(fèi)，進(jìn)一步降低計算總成本。