本文介紹如何使用阿里云E-MapReduce搭建本地盤機型集群節點,并進行大數據基準性能測試。

應用范圍

  • 需要使用阿里云E-MapReduce+本地盤進行大數據業務前進行性能測試的用戶。
  • 需要將線下自建大數據集群遷移到阿里云云上E-MapReduce+本地盤進行大數據分析和性能對比測試的用戶。

最佳實踐概述

為了滿足大數據場景下的存儲需求,阿里云在云上推出了本地盤D1機型。本地盤D1機型使用本地盤而非云盤作為存儲,解決了之前使用云盤的多份冗余數據導致的高成本問題。同時,在使用本地盤D1機型時,數據的傳輸不需要全部通過網絡,因此該場景提供了與磁盤相同的吞吐能力,可發揮Hadoop就近計算的優勢。

阿里云E-MapReduce產品針對本地盤機型,推出了一整套的自動化運維方案,幫助阿里云用戶方便可靠地使用本地盤機型。該運維方案既能讓用戶無須關心整個運維過程,又能保證數據高可靠和服務高可用。

大數據基準測試用于公平、客觀評測不同大數據產品/平臺的功能和性能,對用戶選擇合適的大數據平臺產品具有重要的參考價值,TPC-DS逐漸成為了業界公認的大數據系統測試基準。

本文以阿里云E-MapReduce+D1本地盤方案模擬TPC-DS測試的演示方案,來展示如何使用阿里云大數據集群進行性能測試。詳情請參見E-MapReduce本地盤實例大規模數據集測試最佳實踐
說明 本文的TPC-DS的實現基于TPC-DS的基準測試,并不能與已發布的TPC-DS基準測試結果相比較,本文中的測試并不符合TPC-DS的基準測試的所有要求。