搭建Spark開發(fā)環(huán)境前，請確保您已經(jīng)在Windows操作系統(tǒng)中安裝如下軟件：

• JDK

  本文采用JDK 1.8.0_361，JDK官網(wǎng)下載地址請參見JDK官網(wǎng)。

• Python

  本文采用Python 3.7，Python官網(wǎng)下載地址請參見Python官網(wǎng)。

  說明

  本文采用Spark-2.4.5，如采用其他版本Spark請下載安裝對應(yīng)版本Python，詳情請參見https://pypi.org/project/pyspark/。

• Maven

  本文采用Apache Maven 3.8.7，Maven官網(wǎng)下載地址請參見Maven官網(wǎng)。

• Git

  本文采用git version 2.39.1.windows.1，Git官網(wǎng)下載地址請參見Git官網(wǎng)。

• Scala

  本文采用Scala 2.13.10，Scala官網(wǎng)下載地址請參見Scala官網(wǎng)。

Spark on MaxCompute發(fā)布包集成了MaxCompute認(rèn)證功能。作為客戶端工具，它通過Spark-Submit方式提交作業(yè)到MaxCompute項(xiàng)目中運(yùn)行。MaxCompute提供了面向Spark1.x、Spark2.x和Spark3.x發(fā)布包，下載路徑如下（本文采用Spark-2.4.5）：

• Spark-1.6.3：適用于Spark1.x應(yīng)用的開發(fā)。

• Spark-2.3.0：適用于Spark2.x應(yīng)用的開發(fā)。

• Spark-2.4.5：適用于Spark2.x應(yīng)用的開發(fā)。使用Spark-2.4.5的注意事項(xiàng)請參見Spark 2.4.5使用注意事項(xiàng)。

• Spark-3.1.1：適用于Spark3.x應(yīng)用的開發(fā)。使用Spark-3.1.1的注意事項(xiàng)請參見Spark 3.1.1使用注意事項(xiàng)。

您需要在Windows操作系統(tǒng)中單擊此電腦 > 屬性 > 高級系統(tǒng)設(shè)置 > 環(huán)境變量配置如下環(huán)境變量信息，配置方法及信息如下。

• 配置Java環(huán)境變量。

  • 獲取Java安裝路徑。

  • 編輯Java環(huán)境變量信息。

    1. 在系統(tǒng)變量中新增JAVA_HOME的變量，變量值輸入Java安裝路徑。

    2. 系統(tǒng)變量Path中增加%JAVA_HOME%\bin。

  • 確認(rèn)Java已配置成功。

    • 驗(yàn)證方式

      通過鍵盤快捷鍵Win+R打開運(yùn)行對話框，輸入cmd，單擊確定。在命令運(yùn)行界面輸入java -version，若返回的結(jié)果符合預(yù)期，則Java配置成功。

    • 預(yù)期結(jié)果示例

      java version "1.8.0_361"
      Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
      Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)

• 配置Spark環(huán)境變量。

  • 獲取Spark客戶端包解壓后的路徑。

  • 編輯Spark環(huán)境變量信息。

    1. 新增SPARK_HOME系統(tǒng)變量，變量值中輸入Spark客戶端包解壓后的路徑。

    2. 系統(tǒng)變量Path中增加%SPARK_HOME%\bin。

• 配置Scala環(huán)境變量。

  確認(rèn)Scala已配置成功。

  • 驗(yàn)證方式

    通過鍵盤快捷鍵Win+R打開運(yùn)行對話框，輸入cmd，單擊確定。在命令運(yùn)行界面輸入scala，若返回的結(jié)果符合預(yù)期，則Scala配置成功。

  • 預(yù)期結(jié)果示例

    Welcome to Scala 2.13.10 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_361).
    Type in expressions for evaluation. Or try :help.
    
    scala>

• 配置Python環(huán)境變量。

  • 獲取Python安裝路徑。

  • 編輯Python環(huán)境變量信息。

    在系統(tǒng)變量Path中增加Python和子目錄Scripts的安裝路徑。

  • 確認(rèn)Python已配置成功。

    • 驗(yàn)證方式

      通過鍵盤快捷鍵Win+R打開運(yùn)行對話框，輸入cmd，單擊確定。在命令運(yùn)行界面輸入python --version，若返回的結(jié)果符合預(yù)期，則Python配置成功。

    • 預(yù)期結(jié)果示例

      Python 3.10.6

• 配置Maven環(huán)境變量。

  • 獲取Maven包解壓后的路徑。

  • 編輯Maven環(huán)境變量信息。

    1. 新增MAVEN_HOME系統(tǒng)變量，變量值中輸入Maven包解壓后的路徑。

    2. 系統(tǒng)變量Path中增加%MAVEN_HOME%\bin。

  • 確認(rèn)Maven已配置成功。

    • 驗(yàn)證方式

      通過鍵盤快捷鍵Win+R打開運(yùn)行對話框，輸入cmd，單擊確定。在命令運(yùn)行界面輸入mvn --version，若返回的結(jié)果符合預(yù)期，則Maven配置成功。

    • 預(yù)期結(jié)果示例

      # ***表示Maven包解壓后的部分路徑。
      Apache Maven 3.8.7 (b89d5959fcde851dcb1c8946a785a163f14e1e29)
      Maven home: D:\***\apache-maven-3.8.7-bin\apache-maven-3.8.7
      Java version: 1.8.0_361, vendor: Oracle Corporation, runtime: C:\Program Files\Java\jdk1.8.0_361\jre
      Default locale: zh_CN, platform encoding: GBK
      OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"

• 配置Git環(huán)境變量。

  確認(rèn)Git已配置成功。

  • 驗(yàn)證方式

    通過鍵盤快捷鍵Win+R打開運(yùn)行對話框，輸入cmd，單擊確定。在命令運(yùn)行界面輸入git --version，若返回的結(jié)果符合預(yù)期，則Git配置成功。

  • 預(yù)期結(jié)果示例

    git version 2.39.1.windows.1

• 配置spark_defaults.conf

  第一次使用Spark on MaxCompute客戶端時(shí)，請?jiān)赟park客戶端包的解壓路徑下，將conf文件夾下的spark-defaults.conf.template文件重命名為spark-defaults.conf后再進(jìn)行相關(guān)配置。如果spark-defaults.conf.template和spark-defaults.conf文件都存在，則不需要重命名操作，只需要配置spark-defaults.conf文件即可。代碼示例如下。

  # 直接進(jìn)入到Spark客戶端包的解壓路徑，并進(jìn)入conf文件夾。請以實(shí)際路徑為準(zhǔn)。
  
  # 打開spark-defaults.conf文件配置信息
  
  # 在配置文件末尾添加如下配置信息。
  spark.hadoop.odps.project.name = <MaxCompute_project_name>
  spark.hadoop.odps.access.id = <AccessKey_id>
  spark.hadoop.odps.access.key = <AccessKey_secret>
  spark.hadoop.odps.end.point = <Endpoint>   # Spark客戶端連接訪問MaxCompute項(xiàng)目的Endpoint，您可以根據(jù)自己情況進(jìn)行修改。
  # spark 2.3.0請將spark.sql.catalogImplementation設(shè)置為odps，spark 2.4.5請將spark.sql.catalogImplementation設(shè)置為hive。
  spark.sql.catalogImplementation={odps|hive}
  
  # 如下參數(shù)配置保持不變
  spark.hadoop.odps.task.major.version = cupid_v2
  spark.hadoop.odps.cupid.container.image.enable = true
  spark.hadoop.odps.cupid.container.vm.engine.type = hyper
  spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

  • MaxCompute_project_name：待訪問MaxCompute項(xiàng)目的名稱。

    此處為MaxCompute項(xiàng)目名稱，非工作空間名稱。您可以登錄MaxCompute控制臺，左上角切換地域后，在左側(cè)導(dǎo)航欄選擇工作區(qū) > 項(xiàng)目管理，查看具體的MaxCompute項(xiàng)目名稱。

  • AccessKey_id：具備目標(biāo)MaxCompute項(xiàng)目訪問權(quán)限的AccessKey ID。

    您可以進(jìn)入AccessKey管理頁面獲取AccessKey ID。

  • AccessKey_secret：AccessKey ID對應(yīng)的AccessKey Secret。

    您可以進(jìn)入AccessKey管理頁面獲取AccessKey Secret。

  • Endpoint：MaxCompute項(xiàng)目所屬區(qū)域的外網(wǎng)Endpoint。

    各地域的外網(wǎng)Endpoint信息，請參見各地域Endpoint對照表（外網(wǎng)連接方式）。

  • VPC_endpoint：MaxCompute項(xiàng)目所屬區(qū)域的VPC網(wǎng)絡(luò)的Endpoint。

    各地域的VPC網(wǎng)絡(luò)Endpoint信息，請參見各地域Endpoint對照表（阿里云VPC網(wǎng)絡(luò)連接方式）。

Spark on MaxCompute提供了項(xiàng)目工程模板，建議您下載模板復(fù)制后直接在模板里開發(fā)。

準(zhǔn)備項(xiàng)目工程示例如下：

• 下載Spark-1.x模板并編譯

  #打開已經(jīng)下載好的git客戶端（Git Bash），進(jìn)入到需要下載項(xiàng)目工程的目錄，執(zhí)行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進(jìn)入到工程文件夾中
  cd MaxCompute-Spark/spark-1.x
  
  #編譯該工程包
  mvn clean package

• 下載Spark-2.x 模板并編譯

  #打開已經(jīng)下載好的git客戶端（Git Bash），進(jìn)入到需要下載項(xiàng)目工程的目錄，執(zhí)行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進(jìn)入到工程文件夾中
  cd MaxCompute-Spark/spark-2.x
  
  #編譯該工程包
  mvn clean package

• 下載Spark-3.x 模板并編譯

  #打開已經(jīng)下載好的git客戶端（Git Bash），進(jìn)入到需要下載項(xiàng)目工程的目錄，執(zhí)行
  git clone https://github.com/aliyun/MaxCompute-Spark.git
  
  #進(jìn)入到工程文件夾中
  cd MaxCompute-Spark/spark-3.x
  
  #編譯該工程包
  mvn clean package