日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺(tái)
文檔
有獎(jiǎng)?wù){(diào)研
輸入文檔關(guān)鍵字查找
首頁 開源大數(shù)據(jù)平臺(tái) E-MapReduce EMR on ECS 操作指南 EMR Workbench EMR Workflow 項(xiàng)目管理 任務(wù)類型 HIVECLI

HIVECLI

更新時(shí)間：
產(chǎn)品詳情
相關(guān)技術(shù)圈
我的收藏
重要

本文中含有需要您注意的重要提示信息，忽略該信息可能對您的業(yè)務(wù)造成影響，請務(wù)必仔細(xì)閱讀。

HIVECLI任務(wù)類型用于執(zhí)行SQL腳本語句或者SQL任務(wù)文件。本文為您介紹創(chuàng)建HIVECLI類型任務(wù)時(shí)涉及的參數(shù)，并提供了HIVECLI任務(wù)的示例。

參數(shù)說明

參數(shù)

說明

節(jié)點(diǎn)名稱

任務(wù)的名稱。一個(gè)工作流定義中的節(jié)點(diǎn)名稱是唯一的。

運(yùn)行標(biāo)志

  • 正常（默認(rèn)）：運(yùn)行工作流時(shí)執(zhí)行該任務(wù)。

  • 禁止執(zhí)行：運(yùn)行工作流不會(huì)執(zhí)行該任務(wù)。

描述

節(jié)點(diǎn)的描述。

任務(wù)優(yōu)先級

流程運(yùn)行的優(yōu)先級。支持以下級別：

  • HIGHEST：最高。

  • HIGH：高。

  • MEDIUM（默認(rèn)）：中。

  • LOW：低。

  • LOWEST：最低。

失敗重試次數(shù)

工作流運(yùn)行失敗自動(dòng)重試的次數(shù)。

失敗重試間隔

每次失敗重試的間隔。單位：分。

延時(shí)執(zhí)行時(shí)間

延時(shí)執(zhí)行時(shí)間，默認(rèn)為0，即立即執(zhí)行，設(shè)置了該值后才執(zhí)行延時(shí)操作。單位：分。

超時(shí)告警

該開關(guān)默認(rèn)關(guān)閉。打開超時(shí)告警開關(guān)，可設(shè)定超時(shí)時(shí)長，并選擇至少一個(gè)超時(shí)策略。

  • 選擇超時(shí)告警策略，當(dāng)任務(wù)運(yùn)行時(shí)長超過設(shè)置的超時(shí)時(shí)長后，系統(tǒng)將向指定的告警組發(fā)送通知。

  • 選擇超時(shí)失敗策略，當(dāng)任務(wù)運(yùn)行時(shí)長超過設(shè)置的超時(shí)時(shí)長后，該任務(wù)實(shí)例會(huì)立即失敗。

任務(wù)提交節(jié)點(diǎn)

  • 調(diào)度資源組節(jié)點(diǎn)：任務(wù)在Workflow的調(diào)度資源組節(jié)點(diǎn)提交。

  • EMR集群worker節(jié)點(diǎn)（提交到Y(jié)arn執(zhí)行）（默認(rèn)）：任務(wù)在EMR集群的Worker節(jié)點(diǎn)提交，并通過YARN的Container來執(zhí)行作業(yè)腳本。

    警告

    該模式會(huì)直接影響EMR集群的文件系統(tǒng)或運(yùn)行環(huán)境，請謹(jǐn)慎操作。

    使用該模式，您還可以選擇配置以下參數(shù)：

    • 調(diào)度隊(duì)列：指定任務(wù)提交的YARN隊(duì)列。

    • 任務(wù)執(zhí)行容器內(nèi)存（MB）：指定任務(wù)執(zhí)行容器的內(nèi)存。默認(rèn)值為1024。

    • 虛擬核數(shù)：指定任務(wù)執(zhí)行容器的虛擬核數(shù)（vCores）。默認(rèn)值為1。

    • 優(yōu)先級：指定任務(wù)執(zhí)行容器的優(yōu)先級（0-100）。默認(rèn)值為0，數(shù)值越大，優(yōu)先級越高。

    • 執(zhí)行用戶：默認(rèn)提交任務(wù)的用戶為dolphinscheduler。標(biāo)準(zhǔn)集群（非高安全集群），如果需要設(shè)置執(zhí)行用戶，請確保YARN服務(wù)包含如下配置項(xiàng)：

      • yarn.nodemanager.container-executor.class=org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor

      • yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users=false

SQL來源

支持以下類型：

  • 腳本輸入（默認(rèn)）：使用該程序類型，需要在腳本中填寫SQL語句。

  • 選擇資源中心文件：：使用該程序類型，需要在資源中選擇Hive SQL文件。

資源

選擇任務(wù)執(zhí)行時(shí)所需的資源文件，請確保您已在資源中心的文件管理頁面，創(chuàng)建或者上傳了相應(yīng)的文件。選擇所需文件后，您可以在任務(wù)腳本中通過完整路徑引用它們。例如，path/to/test.txt。

自定義參數(shù)

任務(wù)自定義參數(shù)，會(huì)替換腳本中${變量}的內(nèi)容。

前置任務(wù)

設(shè)置當(dāng)前任務(wù)的前置（上游）任務(wù)。

任務(wù)示例

使用腳本輸入

該示例演示了如何直接執(zhí)行Hive SQL腳本語句。

本示例的腳本內(nèi)容如下。

create table if not exists hive_table(id bigint, name string);
insert into hive_table values (1,'name1');
select * from hive_table;
說明

如果讀表或者刪除表時(shí)任務(wù)運(yùn)行失敗，日志報(bào)錯(cuò)信息中包含java.net.UnknownHostException信息，處理方法請參見Hive讀表或者刪除表時(shí)報(bào)錯(cuò)java.lang.IllegalArgumentException: java.net.UnknownHostException: emr-header-1.xxx。

使用資源中心中的Hive SQL文件

該示例演示了如何使用資源中心中的Hive SQL文件來執(zhí)行任務(wù)。在本例中，先在資源中心中定義了sql類型的文件（例如，hive.sql），然后在SQL來源下拉列表中選擇選擇資源中心文件，在資源下拉列表中選擇在資源中心中定義的sql類型文件。

image.png