前提條件

• 在Databricks數(shù)據(jù)洞察產(chǎn)品中創(chuàng)建一個(gè)集群，詳情請(qǐng)參見(jiàn)創(chuàng)建集群

• 已使用OSS管理控制臺(tái)創(chuàng)建非系統(tǒng)目錄存儲(chǔ)空間，詳情請(qǐng)參見(jiàn)創(chuàng)建存儲(chǔ)空間。

  警告

  首次使用DDI產(chǎn)品創(chuàng)建的Bucket為系統(tǒng)目錄Bucket，不建議存放數(shù)據(jù)，您需要再創(chuàng)建一個(gè)Bucket來(lái)讀寫(xiě)數(shù)據(jù)。

  說(shuō)明

  DDI訪問(wèn)OSS路徑結(jié)構(gòu)：oss://BucketName/Object

  • BucketName為您的存儲(chǔ)空間名稱；

  • Object為上傳到OSS上的文件的訪問(wèn)路徑。

  例：讀取在存儲(chǔ)空間名稱為databricks-demo-hangzhou文件路徑為demo/The_Sorrows_of_Young_Werther.txt的文件

  // 從oss地址讀取文本文檔
  val text = sc.textFile("oss://databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt")

步驟一 ：上傳示例到OSS

• 上傳OSS目錄：自定義OSS存儲(chǔ)目錄。

步驟二 ：創(chuàng)建項(xiàng)目空間

在左側(cè)導(dǎo)航欄中，選擇項(xiàng)目空間，單擊新建項(xiàng)目按鈕，填寫(xiě)項(xiàng)目名稱、項(xiàng)目描述，單擊創(chuàng)建按鈕。

二級(jí)菜單選擇作業(yè)編輯,新建作業(yè)。

步驟三 ：編寫(xiě)并提交作業(yè)

--class com.aliyun.emr.example.spark.SparkWordCount oss://databricks-demo/test-sparksubmit-word-count/spark-wordcount-examples-1.2.0.jar 
oss://databricks-demo/test-sparksubmit-word-count/The_Sorrows_of_Young_Werther.txt 
oss://databricks-demo/test-sparksubmit-word-count/output/temp/01 1

步驟四 ：驗(yàn)證作業(yè)

作業(yè)執(zhí)行完成后，查看作業(yè)運(yùn)行記錄。

作業(yè)執(zhí)行成功后，可在OSS相應(yīng)目錄查看當(dāng)前作業(yè)產(chǎn)出數(shù)據(jù)。