創(chuàng)建E-MapReduce集群后,您可以在數(shù)據(jù)開發(fā)中創(chuàng)建項目,并在項目中進行作業(yè)的編輯和工作流的調(diào)度。新建項目之后,您可以對項目進行管理,為項目關聯(lián)集群資源、添加項目成員以及設置全局變量。

前提條件

已創(chuàng)建集群,詳情請參見創(chuàng)建集群

使用限制

只有阿里云賬號才能創(chuàng)建項目、添加項目成員和添加集群資源,即控制臺上新建項目用戶管理集群設置功能只對阿里云賬號管理員可見,RAM用戶不可見。

新建項目

  1. 進入數(shù)據(jù)開發(fā)的項目列表頁面。
    1. 通過阿里云賬號登錄阿里云E-MapReduce控制臺
    2. 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組
    3. 單擊上方的數(shù)據(jù)開發(fā)頁簽。
      阿里云賬號可以查看該賬號下的所有項目列表,RAM用戶僅可以查看具有開發(fā)權限的項目列表。如需為RAM用戶添加項目開發(fā)權限,則需要阿里云賬號來配置,詳情請參見用戶管理
  2. 項目列表頁面,單擊右上角的新建項目
  3. 新建項目對話框中,輸入項目名稱項目描述,從資源組選擇列表中,選擇已有的資源組
    說明 如果不指定資源組,項目會加入默認的資源組,資源組使用詳情請參見使用資源組
  4. 單擊創(chuàng)建
    項目列表頁面,可查看或者操作新增的項目。

查看項目基本信息

  1. 進入數(shù)據(jù)開發(fā)的項目列表頁面。
    1. 通過阿里云賬號登錄阿里云E-MapReduce控制臺
    2. 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組
    3. 單擊上方的數(shù)據(jù)開發(fā)頁簽。
  2. 進入目標項目的項目管理頁面。
    1. 項目列表頁面,單擊目標項目的項目ID。
    2. 單擊上方的項目管理頁簽。
  3. 查看項目基本信息。
    基本信息頁面,可以查看該項目的項目名稱、創(chuàng)建時間、Created User和項目描述信息。

通用配置

通用配置中的安全模式適用于需要對E-MapReduce數(shù)據(jù)開發(fā)運行的作業(yè)進行權限管理的場景。

開啟安全模式后,需要在運行集群的用戶管理中添加提交作業(yè)的EMR用戶,詳情請參見管理用戶。在開啟安全模式的項目中提交作業(yè)時,阿里云賬號以默認hadoop用戶執(zhí)行,RAM用戶則默認以當前RAM用戶同名的EMR用戶執(zhí)行作業(yè)。

  1. 進入數(shù)據(jù)開發(fā)的項目列表頁面。
    1. 通過阿里云賬號登錄阿里云E-MapReduce控制臺
    2. 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組
    3. 單擊上方的數(shù)據(jù)開發(fā)頁簽。
  2. 進入目標項目的項目管理頁面。
    1. 項目列表頁面,單擊目標項目的項目ID。
    2. 單擊上方的項目管理頁簽。
  3. 配置安全模式。
    1. 單擊左側(cè)菜單通用配置
    2. 根據(jù)作業(yè)情況,選擇開啟或者關閉安全模式。
      注意 開啟安全模式后,Shell和Hive類型的作業(yè)無法運行。

用戶管理

您可以通過以下步驟為RAM用戶添加或刪除某個項目的開發(fā)權限。

  1. 進入數(shù)據(jù)開發(fā)的項目列表頁面。
    1. 通過阿里云賬號登錄阿里云E-MapReduce控制臺
    2. 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組
    3. 單擊上方的數(shù)據(jù)開發(fā)頁簽。
  2. 進入目標項目的項目管理頁面。
    1. 項目列表頁面,單擊目標項目的項目ID。
    2. 單擊上方的項目管理頁簽。
  3. 在左側(cè)導航欄中,單擊用戶管理
  4. 用戶管理頁面,根據(jù)業(yè)務訴求添加用戶或者刪除用戶。
    • 添加用戶。
      1. 單擊右上角的添加用戶
      2. 添加用戶對話框中,選擇需要添加的RAM用戶,然后單擊添加
        用戶添加成功后,就可以在用戶管理頁面查看新增的用戶信息。
        說明 被添加的RAM用戶將成為該項目的成員,擁有查看、開發(fā)該項目下的作業(yè)和工作流的權限。
    • 刪除用戶。

      用戶管理頁面,單擊待刪除用戶所在行的刪除

集群設置

通過以下步驟,可以為項目設置集群資源,使該項目中的作業(yè)運行在關聯(lián)的集群上。

  1. 進入數(shù)據(jù)開發(fā)的項目列表頁面。
    1. 通過阿里云賬號登錄阿里云E-MapReduce控制臺
    2. 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組
    3. 單擊上方的數(shù)據(jù)開發(fā)頁簽。
  2. 進入目標項目的項目管理頁面。
    1. 項目列表頁面,單擊目標項目的項目ID。
    2. 單擊上方的項目管理頁簽。
  3. 在左側(cè)導航欄中,單擊集群設置
  4. 集群設置頁面,可以進行如下操作:
    • 添加集群。
      1. 單擊右上角的添加集群
      2. 添加集群對話框中,選擇資源組和集群信息。

        選擇集群下拉列表中選擇已購買的包年包月或按量付費的集群(不包括通過集群模板創(chuàng)建的集群)。

      3. 單擊確定

        集群設置頁面,可以查看新增的集群信息。

    • 修改集群配置。
      1. 單擊目標集群所在行的修改配置
      2. 修改配置對話框中,設置提交作業(yè)到該集群的隊列、用戶信息和客戶端白名單。
        配置項 描述
        提交作業(yè)默認用戶 設置項目使用所選集群提交作業(yè)時的默認用戶,默認值是hadoop,默認用戶只能有一個。
        提交作業(yè)默認隊列 設置項目使用所選集群提交作業(yè)時的默認隊列,默認作業(yè)提交到default隊列。
        提交作業(yè)用戶白名單 設置可以提交作業(yè)的用戶,如果有多個用戶,可以通過英文半角逗號(,)分隔。
        提交作業(yè)隊列白名單 設置項目中的作業(yè)可以運行在所選集群的隊列,如果有多個隊列,可以通過英文半角逗號(,)分隔。
        客戶端白名單 配置可以提交作業(yè)的客戶端,您可以使用Master節(jié)點或Gateway節(jié)點。通過ECS自建的Gateway暫不支持在此處配置。
      3. 單擊確定
    • 取消關聯(lián)的集群資源。

      集群設置頁面,單擊目標集群所在行的刪除,取消關聯(lián)的集群資源。

變量定義

您可以通過以下步驟設置項目級別的自定義變量,這些變量可以被本項目中的作業(yè)項目作為全局變量調(diào)用。

  1. 進入數(shù)據(jù)開發(fā)的項目列表頁面。
    1. 通過阿里云賬號登錄阿里云E-MapReduce控制臺
    2. 在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組
    3. 單擊上方的數(shù)據(jù)開發(fā)頁簽。
  2. 進入目標項目的項目管理頁面。
    1. 項目列表頁面,單擊目標項目的項目ID。
    2. 單擊上方的項目管理頁簽。
  3. 在左側(cè)導航欄中,單擊變量定義
  4. 變量定義頁面,可以根據(jù)業(yè)務訴求添加自定義變量或者刪除自定義變量。
    • 添加自定義變量。
      1. 單擊右上角的添加
      2. 添加自定義變量對話框中,添加變量名稱變量值,根據(jù)需要選擇是否為變量名的變量值加密。
        作業(yè)中以${VariableName}的形式調(diào)用變量。例如,您添加變量名為ENV_ABC,變量值為12345,不開啟是否為密碼。Shell類型作業(yè)內(nèi)容示例如下。
        echo ${ENV_ABC}
        返回結(jié)果如下。
        12345
        這里環(huán)境變量的設置相當于執(zhí)行了如下的腳本。
        export ENV_ABC=12345
      3. 單擊確認

        變量定義頁面,可查看新增的變量信息。

    • 刪除自定義變量。

      單擊目標變量所在行的刪除,就可以刪除對應的變量。