創(chuàng)建EMR Impala節(jié)點(diǎn)
Impala是對PB級(jí)大數(shù)據(jù)進(jìn)行快速、實(shí)時(shí)的交互式SQL查詢引擎。本文為您介紹如何在DataWorks創(chuàng)建EMR Impala節(jié)點(diǎn)并進(jìn)行數(shù)據(jù)開發(fā)。
前提條件
已創(chuàng)建阿里云EMR集群,并注冊EMR集群至DataWorks。操作詳情請參見注冊EMR集群至DataWorks。
(可選,RAM賬號(hào)需要)進(jìn)行任務(wù)開發(fā)的RAM賬號(hào)已被添加至對應(yīng)工作空間中,并具有開發(fā)或空間管理員(權(quán)限較大,謹(jǐn)慎添加)角色權(quán)限,添加成員的操作詳情請參見為工作空間添加空間成員。
已購買Serverless資源組并完成資源組配置,包括綁定工作空間、網(wǎng)絡(luò)配置等,詳情請參見新增和使用Serverless資源組。
數(shù)據(jù)開發(fā)(DataStudio)中已創(chuàng)建業(yè)務(wù)流程。
數(shù)據(jù)開發(fā)(DataStudio)基于業(yè)務(wù)流程對不同開發(fā)引擎進(jìn)行具體開發(fā)操作,所以您創(chuàng)建節(jié)點(diǎn)前需要先新建業(yè)務(wù)流程,操作詳情請參見創(chuàng)建業(yè)務(wù)流程。
使用限制
僅支持使用Serverless資源組(推薦)或獨(dú)享調(diào)度資源組運(yùn)行該類型任務(wù)。
DataWorks目前已不支持新綁定Hadoop類型的集群,但您之前已經(jīng)綁定的Hadoop集群仍然可以繼續(xù)使用。
步驟一:創(chuàng)建EMR Impala節(jié)點(diǎn)
進(jìn)入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺(tái),切換至目標(biāo)地域后,單擊左側(cè)導(dǎo)航欄的 ,在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。
新建EMR Impala節(jié)點(diǎn)。
右鍵單擊目標(biāo)業(yè)務(wù)流程,選擇
。說明您也可以鼠標(biāo)懸停至新建,選擇
。在新建節(jié)點(diǎn)對話框中,輸入名稱,并選擇引擎實(shí)例、節(jié)點(diǎn)類型及路徑。單擊確認(rèn),進(jìn)入EMR Impala節(jié)點(diǎn)編輯頁面。
說明節(jié)點(diǎn)名稱支持大小寫字母、中文、數(shù)字、下劃線(_)和小數(shù)點(diǎn)(.)。
步驟二:開發(fā)EMR Impala任務(wù)
在EMR Impala節(jié)點(diǎn)編輯頁面雙擊已創(chuàng)建的節(jié)點(diǎn),進(jìn)入任務(wù)開發(fā)頁面,執(zhí)行如下開發(fā)操作。
開發(fā)SQL代碼
在SQL編輯區(qū)域開發(fā)任務(wù)代碼,您可在代碼中使用${變量名}的方式定義變量,并在節(jié)點(diǎn)編輯頁面右側(cè)導(dǎo)航欄的調(diào)度配置>調(diào)度參數(shù)中為該變量賦值。實(shí)現(xiàn)調(diào)度場景下代碼的動(dòng)態(tài)傳參,調(diào)度參數(shù)使用詳情,請參考調(diào)度參數(shù)支持的格式,示例如下。
show tables;
CREATE TABLE IF NOT EXISTS userinfo (
ip STRING COMMENT'IP地址',
uid STRING COMMENT'用戶ID'
)PARTITIONED BY(
dt STRING
);
ALTER TABLE userinfo ADD IF NOT EXISTS PARTITION(dt='${bizdate}'); --可以結(jié)合調(diào)度參數(shù)使用。
select * from userinfo ;
SQL語句最大不能超過130KB。
如果您工作空間的數(shù)據(jù)開發(fā)中綁定多個(gè)EMR數(shù)據(jù)源,則需要根據(jù)業(yè)務(wù)需求選擇合適的引擎。如果僅綁定一個(gè)EMR引擎,則無需選擇。
如果您需要修改代碼中的參數(shù)賦值,請單擊界面上方工具欄的高級(jí)運(yùn)行。參數(shù)賦值邏輯詳情請參見運(yùn)行,高級(jí)運(yùn)行和開發(fā)環(huán)境冒煙測試賦值邏輯有什么區(qū)別。
(可選)配置高級(jí)參數(shù)
您可在節(jié)點(diǎn)高級(jí)設(shè)置處配置特有屬性參數(shù)。更多屬性參數(shù)設(shè)置,請參考Spark Configuration。不同類型EMR集群可配置的高級(jí)參數(shù)存在部分差異,具體如下表。
DataLake集群/自定義集群:EMR on ECS
高級(jí)參數(shù) | 配置說明 |
FLOW_SKIP_SQL_ANALYZE | SQL語句執(zhí)行方式。取值如下:
說明 該參數(shù)僅支持用于數(shù)據(jù)開發(fā)環(huán)境測試運(yùn)行流程。 |
DATAWORKS_SESSION_DISABLE | 適用于開發(fā)環(huán)境直接測試運(yùn)行場景。取值如下:
說明 該參數(shù)配置為 |
Hadoop集群:EMR on ECS
高級(jí)參數(shù) | 配置說明 |
FLOW_SKIP_SQL_ANALYZE | SQL語句執(zhí)行方式。取值如下:
說明 該參數(shù)僅支持用于數(shù)據(jù)開發(fā)環(huán)境測試運(yùn)行流程。 |
USE_GATEWAY | 設(shè)置本節(jié)點(diǎn)提交作業(yè)時(shí),是否通過Gateway集群提交。取值如下:
說明 如果本節(jié)點(diǎn)所在的集群未關(guān)聯(lián)Gateway集群,此處手動(dòng)設(shè)置參數(shù)取值為 |
執(zhí)行SQL任務(wù)
在工具欄單擊圖標(biāo),在參數(shù)對話框選擇已創(chuàng)建的調(diào)度資源組,單擊運(yùn)行。
說明訪問公共網(wǎng)絡(luò)或VPC網(wǎng)絡(luò)環(huán)境的數(shù)據(jù)源需要使用與數(shù)據(jù)源測試連通性成功的調(diào)度資源組。詳情請參見網(wǎng)絡(luò)連通方案。
如果您后續(xù)執(zhí)行任務(wù)需要修改使用的資源組,您可單擊帶參運(yùn)行圖標(biāo),選擇需要更換的調(diào)度資源組。
單擊圖標(biāo),保存編寫的SQL語句。
(可選)冒煙測試。
如果您希望在開發(fā)環(huán)境進(jìn)行冒煙測試,可在執(zhí)行節(jié)點(diǎn)提交或節(jié)點(diǎn)提交后執(zhí)行冒煙測試,操作詳情請參見執(zhí)行冒煙測試。
步驟三:配置節(jié)點(diǎn)調(diào)度
如您需要周期性執(zhí)行創(chuàng)建的節(jié)點(diǎn)任務(wù),可單擊節(jié)點(diǎn)編輯頁面右側(cè)的調(diào)度配置,根據(jù)業(yè)務(wù)需求配置該節(jié)點(diǎn)任務(wù)的調(diào)度信息。配置詳情請參見任務(wù)調(diào)度屬性配置概述。
您需要設(shè)置節(jié)點(diǎn)的重跑屬性和依賴的上游節(jié)點(diǎn),才可以提交節(jié)點(diǎn)。
步驟四:發(fā)布節(jié)點(diǎn)任務(wù)
節(jié)點(diǎn)任務(wù)配置完成后,需執(zhí)行提交發(fā)布操作,提交發(fā)布后節(jié)點(diǎn)即會(huì)根據(jù)調(diào)度配置內(nèi)容進(jìn)行周期性運(yùn)行。
單擊工具欄中的圖標(biāo),保存節(jié)點(diǎn)。
單擊工具欄中的圖標(biāo),提交節(jié)點(diǎn)任務(wù)。
提交時(shí)需在提交對話框中輸入變更描述,并根據(jù)需要選擇是否在節(jié)點(diǎn)提交后執(zhí)行代碼評(píng)審。
說明您需設(shè)置節(jié)點(diǎn)的重跑屬性和依賴的上游節(jié)點(diǎn),才可提交節(jié)點(diǎn)。
代碼評(píng)審可對任務(wù)的代碼質(zhì)量進(jìn)行把控,防止由于任務(wù)代碼有誤,未經(jīng)審核直接發(fā)布上線后出現(xiàn)任務(wù)報(bào)錯(cuò)。如進(jìn)行代碼評(píng)審,則提交的節(jié)點(diǎn)代碼必須通過評(píng)審人員的審核才可發(fā)布,詳情請參見代碼評(píng)審。
如您使用的是標(biāo)準(zhǔn)模式的工作空間,任務(wù)提交成功后,需單擊節(jié)點(diǎn)編輯頁面右上方的發(fā)布,將該任務(wù)發(fā)布至生產(chǎn)環(huán)境執(zhí)行,操作請參見發(fā)布任務(wù)。
后續(xù)步驟
任務(wù)提交發(fā)布后,會(huì)基于節(jié)點(diǎn)的配置周期性運(yùn)行,您可單擊節(jié)點(diǎn)編輯界面右上角的運(yùn)維,進(jìn)入運(yùn)維中心查看周期任務(wù)的調(diào)度運(yùn)行情況。詳情請參見查看并管理周期任務(wù)。