前提條件

已準備好數據源。本文以在EMR on ECS頁面創建包含Hive服務，元數據為內置MySQL的DataLake集群為例，詳情請參見創建集群。

使用限制

• 當前僅支持創建一個網絡連接。

• 當前僅支持使用下列可用區的交換機。

  • 中國地區

    地域名稱	地域ID	可用區名稱
    華東1（杭州）	cn-hangzhou	杭州 可用區H 杭州 可用區I 杭州 可用區J
    華東2（上海）	cn-shanghai	上海 可用區F 上海 可用區G
    華北2（北京）	cn-beijing	北京 可用區F 北京 可用區G 北京 可用區H 北京 可用區K
    華南1（深圳）	cn-shenzhen	深圳 可用區E

  • 其他國家和地區

    地域名稱	地域ID	可用區名稱
    新加坡	ap-southeast-1	新加坡 可用區B 新加坡 可用區C
    美國（弗吉尼亞）	us-east-1	弗吉尼亞 可用區A 弗吉尼亞 可用區B
    德國（法蘭克福）	eu-central-1	法蘭克福 可用區A 法蘭克福 可用區B

步驟一：新增網絡連接

1. 進入網絡連接頁面。

   1. 登錄E-MapReduce控制臺。

   2. 在左側導航欄，選擇EMR Serverless > Spark。

   3. 在Spark頁面，單擊目標工作空間名稱。

   4. 在EMR Serverless Spark頁面，單擊左側導航欄中的網絡連接。

2. 在網絡連接頁面，單擊新增網絡連接。

3. 在新增網絡連接對話框中，配置以下信息，單擊確定。

   參數	說明
   連接名稱	輸入新增連接的名稱。
   專有網絡	選擇與EMR集群相同的專有網絡。 如果當前沒有可選擇的專有網絡，請單擊創建專有網絡，前往專有網絡控制臺創建，詳情請參見創建和管理專有網絡。
   交換機	選擇與EMR集群部署在同一專有網絡下的相同交換機。 如果當前可用區沒有交換機，請單擊虛擬交換機，前往專有網絡控制臺創建，詳情請參見創建和管理交換機。 重要 僅支持選擇特定可用區下的交換機，詳情請參見使用限制。

   當狀態顯示為已成功時，表示新增網絡連接成功。

   

步驟二：為EMR集群添加安全組規則

1. 獲取已創建網絡連接中指定交換機的網段。

   您可以登錄專有網絡管理控制臺，在交換機頁面獲取交換機的網段。

   

2. 添加安全組規則。

   1. 登錄EMR on ECS控制臺。

   2. 在集群管理頁面，單擊目標集群的集群ID。

   3. 在基礎信息頁面，單擊集群安全組后面的鏈接。

   4. 在安全組規則頁面，單擊手動添加，填寫端口范圍和授權對象，然后單擊保存。

      參數	說明
      端口范圍	填寫9083端口。
      授權對象	填寫前一步驟中獲取的指定交換機的網段。 重要 為防止被外部的用戶攻擊導致安全問題，授權對象禁止填寫為0.0.0.0/0。

（可選）步驟三：連接Hive服務并查詢表數據

如果您已有創建并配置好的Hive表，則可以跳過該步驟。

1. 使用SSH方式登錄集群的Master節點，詳情請參見登錄集群。

2. 執行以下命令，進入Hive命令行。

   hive

3. 執行以下命令，創建表。

   CREATE TABLE my_table (id INT,name STRING);

4. 執行以下命令，向表中插入數據。

   INSERT INTO my_table VALUES (1, 'John'); 
   INSERT INTO my_table VALUES (2, 'Jane');

5. 執行以下命令，查詢數據。

   SELECT * FROM my_table;

（可選）步驟四：準備并上傳資源文件

如果您后續使用JAR任務類型，則需提前準備好資源文件。如果使用本文的SparkSQL任務類型，則可以跳過該步驟。

1. 在本地新建一個Maven工程。

   工程內容如下

   package com.example;
   
   import org.apache.spark.sql.Dataset;
   import org.apache.spark.sql.Row;
   import org.apache.spark.sql.SparkSession;
   
   public class DataFrameExample {
       public static void main(String[] args) {
           // 創建SparkSession。
           SparkSession spark = SparkSession.builder()
                   .appName("HMSQueryExample")
                   .enableHiveSupport()
                   .getOrCreate();
   
           // 執行查詢。
           Dataset<Row> result = spark.sql("SELECT * FROM default.my_table");
   
           // 打印查詢結果。
           result.show();
   
           // 關閉SparkSession。
           spark.stop();
       }
   }

   pom文件內容如下

   <?xml version="1.0" encoding="UTF-8"?>
   <project xmlns="http://maven.apache.org/POM/4.0.0"
            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
            xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
       <modelVersion>4.0.0</modelVersion>
   
       <groupId>org.example</groupId>
       <artifactId>sparkDataFrame</artifactId>
       <version>1.0-SNAPSHOT</version>
   
       <properties>
           <maven.compiler.source>8</maven.compiler.source>
           <maven.compiler.target>8</maven.compiler.target>
           <spark.version>3.3.1</spark.version>
           <scala.binary.version>2.12</scala.binary.version>
       </properties>
   
       <dependencies>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-core_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-sql_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
           <dependency>
               <groupId>org.apache.spark</groupId>
               <artifactId>spark-hive_${scala.binary.version}</artifactId>
               <version>${spark.version}</version>
           </dependency>
       </dependencies>
   </project>

2. 使用mvn package命令打包，編譯打包后生成sparkDataFrame-1.0-SNAPSHOT.jar文件。

3. 在EMR Serverless Spark頁面的目標工作空間下，單擊左側的文件管理。

4. 在文件管理頁面，單擊上傳文件。

5. 上傳本地打包好的sparkDataFrame-1.0-SNAPSHOT.jar文件。

步驟五：新建并運行任務