本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
FLINK任務類型用于執行Flink程序。本文為您介紹創建FLINK類型任務時涉及的參數,并提供了FLINK任務的示例。
參數說明
參數 | 說明 |
節點名稱 | 任務的名稱。一個工作流定義中的節點名稱是唯一的。 |
運行標志 |
|
描述 | 當前節點的功能描述。 |
任務優先級 | 流程運行的優先級。支持以下級別:
|
失敗重試次數 | 工作流運行失敗自動重試的次數。 |
失敗重試間隔 | 每次失敗重試的間隔。單位:分。 |
延時執行時間 | 延時執行時間,默認為0,即立即執行,設置了該值后才執行延時操作。單位:分。 |
超時告警 | 該開關默認關閉。打開超時告警開關,可設定超時時長,并選擇至少一個超時策略。
|
任務提交節點 |
說明 如果程序類型選擇為SQL,則任務提交節點默認僅支持EMR集群worker節點(提交到Yarn執行)方式。 |
程序類型 | 支持JAVA、SCALA、PYTHON、SQL和CUSTOM_SCRIPT語言。 說明 選擇的類型不同,展示的參數也不同,具體以控制臺為準。 |
主函數的Class | Flink程序的入口Main Class的全路徑。 |
主程序包 | 執行Flink程序的JAR包。通過資源中心上傳,詳情請參見資源中心。 |
部署方式 | 僅支持cluster模式部署。 |
初始化腳本 | 當程序類型為SQL時,請填寫初始化腳本。 |
腳本 | 當程序類型為SQL時,請填寫SQL語句。 當程序類型為CUSTOM_SCRIPT時,請填寫完整的Flink命令。 |
任務名稱 | Flink程序的名稱。 |
JobManager內存數 | 用于設置JobManager內存數,請根據實際生產環境設置。 |
TaskManager內存數 | 用于設置TaskManager內存數,請根據實際生產環境設置。 |
Slot數量 | 用于設置Slot數量,請根據實際生產環境設置。 |
并行度 | 用于設置執行Flink任務的并行度。 |
主程序參數 | 設置Flink程序的輸入參數,支持自定義參數變量的替換。 |
選項參數 | 填寫Flink命令所需的選項參數。例如, |
資源 | 選擇任務執行時所需的資源文件,請確保您已在資源中心的文件管理頁面,創建或者上傳了相應的文件。選擇所需文件后,您可以在任務腳本中通過完整路徑引用它們。例如, |
自定義參數 | 任務自定義參數,會替換腳本中 |
前置任務 | 設置當前任務的前置(上游)任務。 |
任務示例
通過自定義腳本提交Flink任務
程序類型選擇CUSTOM_SCRIPT,引用上傳到Workflow資源中心的文件,腳本內容示例如下:
Flink類型作業支持JAR包形式的Flink Datastream、Table和SQL作業。
flink run -m yarn-cluster -yjm 1024 -ytm 2048 \ path/to/oss/of/WordCount.jar \ --input oss://path/to/oss/to/data \ --output oss://path/to/oss/to/result
EMR-3.x系列自EMR-3.28.2版本開始,Flink類型作業同時支持PyFlink作業。
flink run -m yarn-cluster -yjm 1024 -ytm 2048 -py path/to/oss/of/word_count.py
path/to/oss/of/WordCount.jar
用來指定Flink任務所需的資源文件。資源文件需要通過資源中心上傳,詳情請參見資源中心。上傳并選擇所需文件后,您可以在任務腳本中通過完整路徑引用它們。--input oss://path/to/oss/to/data
和--output oss://path/to/oss/to/result
用來指定作業的數據輸入路徑和數據輸出路徑,請您根據實際信息替換。