日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
產品文檔
輸入文檔關鍵字查找
首頁 開源大數據平臺 E-MapReduce EMR on ECS 操作指南 EMR Workbench EMR Workflow 項目管理 任務類型 FLINK

FLINK

更新時間：
一鍵部署
產品詳情
相關技術圈
我的收藏
重要

本文中含有需要您注意的重要提示信息，忽略該信息可能對您的業務造成影響，請務必仔細閱讀。

FLINK任務類型用于執行Flink程序。本文為您介紹創建FLINK類型任務時涉及的參數，并提供了FLINK任務的示例。

參數說明

參數

說明

節點名稱

任務的名稱。一個工作流定義中的節點名稱是唯一的。

運行標志

  • 正常（默認）：運行工作流時執行該任務。

  • 禁止執行：運行工作流不會執行該任務。

描述

當前節點的功能描述。

任務優先級

流程運行的優先級。支持以下級別：

  • HIGHEST：最高。

  • HIGH：高。

  • MEDIUM（默認）：中。

  • LOW：低。

  • LOWEST：最低。

失敗重試次數

工作流運行失敗自動重試的次數。

失敗重試間隔

每次失敗重試的間隔。單位：分。

延時執行時間

延時執行時間，默認為0，即立即執行，設置了該值后才執行延時操作。單位：分。

超時告警

該開關默認關閉。打開超時告警開關，可設定超時時長，并選擇至少一個超時策略。

  • 選擇超時告警策略，當任務運行時長超過設置的超時時長后，系統將向指定的告警組發送通知。

  • 選擇超時失敗策略，當任務運行時長超過設置的超時時長后，該任務實例會立即失敗。

任務提交節點

  • 調度資源組節點（默認）：任務在Workflow的調度資源組節點提交。

  • EMR集群worker節點（提交到Yarn執行）：任務在EMR集群的Worker節點提交，占用一個YARN Container。

    警告

    該模式會直接影響EMR集群的文件系統或運行環境，請謹慎操作。

    使用該模式，您還可以選擇配置以下參數：

    • 調度隊列：指定任務提交的YARN隊列。

    • 任務執行容器內存（MB）：指定任務執行容器的內存。默認值為1024。

    • 虛擬核數：指定任務執行容器的虛擬核數（vCores）。默認值為1。

    • 優先級：指定任務執行容器的優先級（0-100）。默認值為0，數值越大，優先級越高。

    • 執行用戶：默認提交任務的用戶為dolphinscheduler。標準集群（非高安全集群），如果需要設置執行用戶，請確保YARN服務包含如下配置項：

      • yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor

      • yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false

說明

如果程序類型選擇為SQL，則任務提交節點默認僅支持EMR集群worker節點（提交到Yarn執行）方式。

程序類型

支持JAVA、SCALA、PYTHON、SQL和CUSTOM_SCRIPT語言。

說明

選擇的類型不同，展示的參數也不同，具體以控制臺為準。

主函數的Class

Flink程序的入口Main Class的全路徑。

主程序包

執行Flink程序的JAR包。通過資源中心上傳，詳情請參見資源中心。

部署方式

僅支持cluster模式部署。

初始化腳本

當程序類型為SQL時，請填寫初始化腳本。

腳本

當程序類型為SQL時，請填寫SQL語句。

當程序類型為CUSTOM_SCRIPT時，請填寫完整的Flink命令。

任務名稱

Flink程序的名稱。

JobManager內存數

用于設置JobManager內存數，請根據實際生產環境設置。

TaskManager內存數

用于設置TaskManager內存數，請根據實際生產環境設置。

Slot數量

用于設置Slot數量，請根據實際生產環境設置。

并行度

用于設置執行Flink任務的并行度。

主程序參數

設置Flink程序的輸入參數，支持自定義參數變量的替換。

選項參數

填寫Flink命令所需的選項參數。例如，-yt或-C。

資源

選擇任務執行時所需的資源文件，請確保您已在資源中心的文件管理頁面，創建或者上傳了相應的文件。選擇所需文件后，您可以在任務腳本中通過完整路徑引用它們。例如，path/to/test.txt。

自定義參數

任務自定義參數，會替換腳本中${變量}的內容。更多參數配置信息，請參見參數說明。

前置任務

設置當前任務的前置（上游）任務。

任務示例

通過自定義腳本提交Flink任務

程序類型選擇CUSTOM_SCRIPT，引用上傳到Workflow資源中心的文件，腳本內容示例如下：

  • Flink類型作業支持JAR包形式的Flink Datastream、Table和SQL作業。 

    flink run -m yarn-cluster -yjm 1024 -ytm 2048 \
path/to/oss/of/WordCount.jar \
--input oss://path/to/oss/to/data \
--output oss://path/to/oss/to/result

  • EMR-3.x系列自EMR-3.28.2版本開始，Flink類型作業同時支持PyFlink作業。 

    flink run -m yarn-cluster -yjm 1024 -ytm 2048 -py path/to/oss/of/word_count.py
說明

  • path/to/oss/of/WordCount.jar用來指定Flink任務所需的資源文件。資源文件需要通過資源中心上傳，詳情請參見資源中心。上傳并選擇所需文件后，您可以在任務腳本中通過完整路徑引用它們。

  • --input oss://path/to/oss/to/data和--output oss://path/to/oss/to/result用來指定作業的數據輸入路徑和數據輸出路徑，請您根據實際信息替換。