使用限制

EMR-4.8.0及之后的版本、EMR-5.1.0以及之后的版本均可運(yùn)行該教程。

注意事項(xiàng)

本文示例使用的是DataLake集群，所以Master節(jié)點(diǎn)名稱為master-1-1。如果您使用的是Hadoop集群，請(qǐng)修改文檔中的節(jié)點(diǎn)名稱為emr-header-1。

步驟一：創(chuàng)建EMR集群和下載TPC-DS Benchmark工具

1. 創(chuàng)建EMR-5.15.1集群，具體操作步驟，請(qǐng)參見創(chuàng)建集群。

   

   在創(chuàng)建集群時(shí)，請(qǐng)關(guān)注如下配置信息：

   • 集群類型：選擇DataLake。

   • 產(chǎn)品版本：以EMR-5.15.1版本為例。

   • 可選服務(wù)：使用默認(rèn)配置。

   • 實(shí)例規(guī)格：如果想獲得最佳性能，Core實(shí)例推薦使用大數(shù)據(jù)型或本地SSD。如果想用小規(guī)模數(shù)據(jù)快速完成所有流程，Core實(shí)例也可以選擇4 vCPU 16 GiB規(guī)格的通用型實(shí)例。

     重要

     根據(jù)您選擇運(yùn)行的數(shù)據(jù)集確定集群規(guī)模，確保Core實(shí)例的數(shù)據(jù)盤總?cè)萘看笥跀?shù)據(jù)集規(guī)模的三倍。數(shù)據(jù)集相關(guān)信息，請(qǐng)參見步驟三：生成并加載數(shù)據(jù)。

   • 元數(shù)據(jù)：推薦使用DLF統(tǒng)一元數(shù)據(jù)。

   • 集群存儲(chǔ)根路徑：選擇一個(gè)開通HDFS服務(wù)的Bucket。

     如果您當(dāng)前的地域不支持OSS-HDFS，請(qǐng)考慮更換地域或改為使用HDFS服務(wù)，即在可選服務(wù)中去掉OSS-HDFS服務(wù)，選擇HDFS服務(wù)。

     

   • 掛載公網(wǎng)：在Master節(jié)點(diǎn)組中，打開掛載公網(wǎng)開關(guān)。

2. 通過SSH方式連接集群的Master節(jié)點(diǎn)，具體操作請(qǐng)參見登錄集群。

3. 安裝Git和Maven。

   1. 執(zhí)行以下命令，安裝Git。

      sudo yum install -y git

   2. 在Apache Maven Project下載最新的Binary tar.gz archive。本文將以apache-maven-3.9.6-bin.tar.gz為例進(jìn)行說明。

   3. 上傳下載好的文件到EMR集群的Master節(jié)點(diǎn)，并解壓縮。

      tar zxf apache-maven-3.9.6-bin.tar.gz
      cd apache-maven-3.9.6
      export MAVEN_HOME=`pwd`
      export PATH=`pwd`/bin:$PATH

4. 下載TPC-DS Benchmark工具。

   • 通過Git下載。

     git clone https://github.com/hortonworks/hive-testbench.git

     重要

     在中國(guó)內(nèi)地訪問GitHub較慢，如果下載失敗，可直接本地下載，將ZIP文件上傳到EMR集群的Master節(jié)點(diǎn)，并解壓縮。

   • 本地下載，將ZIP文件上傳到EMR集群的Master節(jié)點(diǎn)，并解壓縮。

     具體操作步驟如下：

     1. 下載hive-testbench-hdp3.zip文件。

     2. 執(zhí)行以下命令，上傳ZIP文件到EMR集群的Master節(jié)點(diǎn)。

        scp hive-testbench-hdp3.zip root@**.**.**.**:/root/

        說明

        **.**.**.**為Master節(jié)點(diǎn)的公網(wǎng)IP地址。您可以在集群的節(jié)點(diǎn)管理頁面，單擊Master節(jié)點(diǎn)組所在行的圖標(biāo)，獲取Master節(jié)點(diǎn)的公網(wǎng)IP地址。

     3. 執(zhí)行以下命令，解壓縮ZIP文件。

        unzip hive-testbench-hdp3.zip

步驟二：編譯并打包數(shù)據(jù)生成器

1. （可選）配置阿里云鏡像。

   如果在中國(guó)內(nèi)地可以使用阿里云鏡像加速M(fèi)aven編譯。使用阿里云鏡像，編譯并打包數(shù)據(jù)生成器的耗時(shí)為2min~3min。

   1. 執(zhí)行如下命令，新建文件目錄。

      mkdir -p ~/.m2/

   2. 執(zhí)行如下命令，將Maven配置文件拷貝到新文件目錄下。

      cp $MAVEN_HOME/conf/settings.xml ~/.m2/

   3. 在~/.m2/settings.xml文件中添加鏡像信息，具體內(nèi)容如下：

      <mirror>
          <id>aliyun</id>
          <mirrorOf>central</mirrorOf>
          <name>Nexus aliyun</name>
          <url>http://maven.aliyun.com/nexus/content/groups/public</url>
      </mirror>

2. 切換到hive-testbench-hdp3目錄。

   cd hive-testbench-hdp3

3. 下載tpcds-extern.patch文件，上傳到當(dāng)前目錄下，然后復(fù)制到tpcds-gen/patches/all/目錄中。

   重要

   EMR-5.10.0及后續(xù)版本使用Alibaba Cloud Linux (Alinux） 3，編譯過程需要額外的patch文件。而對(duì)于EMR-5.10.0之前的版本，編譯時(shí)不需要這個(gè)patch文件。

   cp tpcds-extern.patch ./tpcds-gen/patches/all/

4. 使用TPC-DS工具集進(jìn)行編譯并打包數(shù)據(jù)生成器。

   ./tpcds-build.sh

步驟三：生成并加載數(shù)據(jù)

1. 設(shè)置數(shù)據(jù)規(guī)模SF（Scale Factor）。

   SF單位相當(dāng)于GB，所以SF=1相當(dāng)于1 GB，SF=100相當(dāng)于100 GB，SF=1000相當(dāng)于1 TB，以此類推。本步驟示例采用小規(guī)模數(shù)據(jù)集，推薦使用SF=3。具體命令如下：

   SF=3

   重要

   請(qǐng)確保數(shù)據(jù)盤總大小是數(shù)據(jù)集規(guī)模的3倍以上，否則后續(xù)流程中會(huì)出現(xiàn)報(bào)錯(cuò)情況。

2. 檢查并清理Hive數(shù)據(jù)庫(kù)。

   1. 檢查Hive數(shù)據(jù)庫(kù)是否存在。

      hive -e "desc database tpcds_bin_partitioned_orc_$SF"

   2. （可選）清理已經(jīng)存在的Hive數(shù)據(jù)庫(kù)。

      重要

      如果Hive數(shù)據(jù)庫(kù)tpcds_bin_partitioned_orc_$SF已經(jīng)存在，需要執(zhí)行下面的命令清理數(shù)據(jù)庫(kù)，否則后續(xù)流程會(huì)報(bào)錯(cuò)。如果不存在，則跳過該步驟。

      hive -e "drop database tpcds_bin_partitioned_orc_$SF cascade"

3. 配置Hive服務(wù)地址。

   tpcds-setup.sh腳本默認(rèn)配置的Hive服務(wù)地址與EMR集群環(huán)境不一致，所以需要將腳本中HiveSever的地址替換為EMR集群中的Hive服務(wù)地址。具體命令如下：

   sed -i 's/localhost:2181\/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2?tez.queue.name=default/master-1-1:10000\//' tpcds-setup.sh

   腳本默認(rèn)配置的Hive服務(wù)地址為：jdbc:hive2://localhost:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2?tez.queue.name=default。通過上述命令替換后的Hive服務(wù)地址為：jdbc:hive2://master-1-1:10000/。

4. 修復(fù)開源工具配置問題。

   部分參數(shù)在Hive 2和Hive 3等開源版本中不支持，繼續(xù)使用TPC-DS會(huì)導(dǎo)致作業(yè)報(bào)錯(cuò)，所以需要參考以下命令替換參數(shù)。

   sed -i 's/hive.optimize.sort.dynamic.partition.threshold=0/hive.optimize.sort.dynamic.partition=true/' settings/*.sql

5. 生成并加載數(shù)據(jù)。

   在SF=3時(shí)，該步驟耗時(shí)為40min~50min。如果運(yùn)行正常，TPC-DS數(shù)據(jù)表將會(huì)加載到tpcds_bin_partitioned_orc_$SF數(shù)據(jù)庫(kù)中。通過EMR存儲(chǔ)和計(jì)算分離的架構(gòu)能力，可以很方便地做到將數(shù)據(jù)保存在OSS-HDFS。

   執(zhí)行以下命令，生成并加載數(shù)據(jù)。

   ./tpcds-setup.sh $SF

   

6. 獲取Hive表統(tǒng)計(jì)信息。

   推薦使用Hive SQL ANALYZE命令獲取Hive表統(tǒng)計(jì)信息，可以加快后續(xù)SQL的查詢速度。此步驟在SF=3時(shí)，耗時(shí)為20min~30min。

   hive -f ./hive-testbench-hdp3/ddl-tpcds/bin_partitioned/analyze.sql \
       --hiveconf hive.execution.engine=tez \
       --database tpcds_bin_partitioned_orc_$SF

步驟四：運(yùn)行TPC-DS SQL

本步驟分別介紹如何使用Hive和Spark運(yùn)行TPC-DS SQL。

常見問題

Q：通過腳本順序執(zhí)行99個(gè)Spark SQL的時(shí)候報(bào)錯(cuò)，怎么解決？