在項(xiàng)目中,您可以通過(guò)創(chuàng)建作業(yè)來(lái)進(jìn)行任務(wù)開(kāi)發(fā)。本文為您介紹如何創(chuàng)建作業(yè)、設(shè)置和刪除作業(yè)。

前提條件

已創(chuàng)建項(xiàng)目,詳情請(qǐng)參見(jiàn)新建項(xiàng)目

創(chuàng)建作業(yè)

  1. 進(jìn)入項(xiàng)目空間頁(yè)面。
    1. 使用阿里云賬號(hào)登錄Databricks數(shù)據(jù)洞察控制臺(tái)
    2. 在Databricks數(shù)據(jù)洞察控制臺(tái)頁(yè)面,選擇所在的地域(Region)。
      創(chuàng)建的集群將會(huì)在對(duì)應(yīng)的地域內(nèi),一旦創(chuàng)建后不能修改。
    3. 在左側(cè)導(dǎo)航欄,單擊項(xiàng)目空間
  2. 項(xiàng)目空間頁(yè)面,單擊待操作項(xiàng)目所在行的作業(yè)編輯
  3. 作業(yè)編輯區(qū)域,在需要操作的文件夾上單擊右鍵,選擇新建作業(yè)
    新建作業(yè)
  4. 新建作業(yè)對(duì)話框中,輸入作業(yè)名稱作業(yè)描述,選擇作業(yè)類型
    說(shuō)明 創(chuàng)建作業(yè)時(shí)作業(yè)類型一經(jīng)確定,不能修改。
  5. 單擊確定
  6. 在作業(yè)內(nèi)容區(qū)域,填寫(xiě)該作業(yè)需要提供的命令行參數(shù)。
    請(qǐng)參考作業(yè)提交示例
  7. 單擊右上角的保存
  8. 單擊右上方的運(yùn)行
    執(zhí)行作業(yè)。

設(shè)置作業(yè)

新建作業(yè)時(shí)、或者新建作業(yè)后,可對(duì)作業(yè)進(jìn)行以下設(shè)置。

  1. 單擊頁(yè)面右上角的作業(yè)設(shè)置
  2. 作業(yè)設(shè)置頁(yè)面,設(shè)置基礎(chǔ)信息。
    參數(shù) 描述
    作業(yè)概要 作業(yè)描述:可修改作業(yè)的描述。
    運(yùn)行資源 單擊右側(cè)的加號(hào)圖標(biāo),添加作業(yè)執(zhí)行所依賴的JAR包或HDFS等資源。您需要將資源先上傳至OSS,然后在運(yùn)行資源中直接添加即可。
    配置參數(shù) 指定作業(yè)代碼中所引用的變量的值。您可以在代碼中引用變量,格式為${變量名}

    單擊右側(cè)的加號(hào)圖標(biāo),添加Key和Value。其中,Key為變量名,Value為變量的值。另外,您還可以根據(jù)調(diào)度啟動(dòng)時(shí)間在此配置時(shí)間變量,詳情請(qǐng)參見(jiàn)作業(yè)日期設(shè)置

  3. 作業(yè)設(shè)置頁(yè)面,單擊高級(jí)設(shè)置
    配置項(xiàng) 說(shuō)明
    模式
    • 提交節(jié)點(diǎn): 目前只支持在在Master節(jié)點(diǎn)提交,表示作業(yè)在分配的機(jī)器上直接運(yùn)行。
    • 預(yù)期最大運(yùn)行時(shí)長(zhǎng):0~10800秒。
    環(huán)境變量 添加作業(yè)執(zhí)行的環(huán)境變量,也可以在作業(yè)腳本中直接export環(huán)境變量。
    調(diào)度參數(shù) 設(shè)置作業(yè)運(yùn)行調(diào)度隊(duì)列、內(nèi)存、虛擬核數(shù)、優(yōu)先級(jí)和執(zhí)行用戶等信息。當(dāng)未設(shè)置這些參數(shù)時(shí),作業(yè)會(huì)直接采用集群的默認(rèn)值。

刪除作業(yè)

創(chuàng)建作業(yè)后,不再需要當(dāng)前作業(yè)時(shí)可刪除。

  1. 在項(xiàng)目空間頁(yè)面,單擊待操作項(xiàng)目所在行的刪除
  2. 刪除對(duì)話中,單擊確定