創(chuàng)建并引用EMR JAR資源

如果您使用的是DataLake（新版數(shù)據(jù)湖）集群，則可通過如下步驟引用EMR JAR資源。

1. 準(zhǔn)備EMR JAR示例代碼。

   Plaintext

   spark-submit --master yarn
   --deploy-mode cluster
   --name SparkPi
   --driver-memory 4G
   --driver-cores 1
   --num-executors 5
   --executor-memory 4G
   --executor-cores 1
   --class org.apache.spark.examples.JavaSparkPi
   hdfs:///tmp/jars/spark-examples_2.11-2.4.8.jar 100

   說明

   若EMR Spark Streaming節(jié)點(diǎn)依賴的資源較大，則無法通過DataWorks頁面上傳。您可將資源存放至HDFS上，然后在代碼中進(jìn)行引用。代碼示例如下。

2. 創(chuàng)建EMR JAR資源，詳情請參見創(chuàng)建和使用EMR資源。首次使用需要進(jìn)行一鍵授權(quán)。

3. 引用EMR JAR資源。

   1. 打開創(chuàng)建的EMR Spark Streaming節(jié)點(diǎn)，停留在代碼編輯頁面。

   2. 在EMR > 資源節(jié)點(diǎn)下，找到待引用資源，右鍵選擇引用資源。

   3. 選擇資源后，當(dāng)節(jié)點(diǎn)編輯頁面顯示##@resource_reference{""}格式的語句，表明資源引用成功。此時(shí)，需要執(zhí)行下述命令。命令涉及的資源包、Bucket名稱、路徑信息等為本文示例的內(nèi)容，使用時(shí)，請?zhí)鎿Q為實(shí)際使用的信息。

      ##@resource_reference{"examples-1.2.0-shaded.jar"}
      --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

開發(fā)SQL代碼

在EMR Spark Streaming節(jié)點(diǎn)的編輯頁面，輸入需要執(zhí)行的作業(yè)代碼。示例如下。

spark-submit --master yarn-cluster --executor-cores 2 --executor-memory 2g --driver-memory 1g --num-executors 2 --class com.aliyun.emr.example.spark.streaming.JavaLoghubWordCount examples-1.2.0-shaded.jar <logService-project> <logService-store> <group> <endpoint> <access-key-id> <access-key-secret>

（可選）配置高級參數(shù)

您可在節(jié)點(diǎn)高級設(shè)置處配置特有屬性參數(shù)。更多屬性參數(shù)設(shè)置，請參考Spark Configuration。集群可配置的高級參數(shù)具體如下表。

執(zhí)行SQL任務(wù)

1. 在工具欄單擊圖標(biāo)，在參數(shù)對話框選擇已創(chuàng)建的調(diào)度資源組，單擊運(yùn)行。

   說明

   • 訪問公共網(wǎng)絡(luò)或VPC網(wǎng)絡(luò)環(huán)境的數(shù)據(jù)源需要使用與數(shù)據(jù)源測試連通性成功的調(diào)度資源組。詳情請參見網(wǎng)絡(luò)連通方案。

   • 如果您后續(xù)執(zhí)行任務(wù)需要修改使用的資源組，您可單擊帶參運(yùn)行圖標(biāo)，選擇需要更換的調(diào)度資源組。

2. 單擊圖標(biāo)，保存編寫的SQL語句。

3. （可選）冒煙測試。

   如果您希望在開發(fā)環(huán)境進(jìn)行冒煙測試，可在執(zhí)行節(jié)點(diǎn)提交或節(jié)點(diǎn)提交后執(zhí)行冒煙測試，操作詳情請參見執(zhí)行冒煙測試。