01新建MaxCompute公共節(jié)點(diǎn)
本文介紹如何新建MaxCompute公共節(jié)點(diǎn)。
前提條件
已新建工作組，具體操作，請(qǐng)參見(jiàn)新建工作組。
已在工作組中分別添加數(shù)據(jù)源類型為MaxCompute、RDS MySQL的數(shù)據(jù)源，具體操作，請(qǐng)參見(jiàn)新建云計(jì)算資源。
已新建邏輯表，具體操作，請(qǐng)參見(jiàn)通過(guò)云計(jì)算資源掃描創(chuàng)建邏輯表或通過(guò)DDL方式新建邏輯表或者07批量導(dǎo)入邏輯表。
操作步驟
在頁(yè)面左上角，單擊
圖標(biāo)，選擇協(xié)同。在頂部菜單欄，單擊
圖標(biāo)，選擇目標(biāo)工作組，單擊資產(chǎn)加工。在左側(cè)導(dǎo)航欄，單擊
圖標(biāo)，選擇公共節(jié)點(diǎn)。單擊
圖標(biāo)，在公共節(jié)點(diǎn)頁(yè)面，單擊新建節(jié)點(diǎn)。在新建節(jié)點(diǎn)對(duì)話框，節(jié)點(diǎn)類型選擇為MaxCompute SQL，單擊確定。
進(jìn)入節(jié)點(diǎn)編輯頁(yè)面，對(duì)節(jié)點(diǎn)進(jìn)行配置。
在右側(cè)節(jié)點(diǎn)屬性頁(yè)簽，填寫節(jié)點(diǎn)標(biāo)識(shí)和節(jié)點(diǎn)名稱為“ods_base_yhkh_demo_di”。
在編輯頁(yè)面，輸入如下SQL腳本，單擊
圖標(biāo)。insert overwrite table ${ods_base_yhkh_demo_di} select t1.id, t1.zzhm, t1.khmc, t1.nl, t1.xb, case t1.xb when '0' then '01' when '1' then '02' end as c_xb_dm, case t1.xb when '0' then '男' when '1' then '女' end as c_xb_mc, substr(t1.yddh1, -11) as yddh1, t1.csrq, t1.jysp, case t1.jysp when '0' then '00' when '1' then '01' when '2' then '02' when '3' then '03' when '4' then '04' end as c_jysp_dm, case t1.jysp when '0' then '研究生' when '1' then '本科' when '2' then '高中' when '3' then '職業(yè)高中' when '4' then '職業(yè)學(xué)院' end as c_jysp_mc, t1.career, case t1.career when '0' then '00' when '1' then '01' when '2' then '02' when '3' then '03' when '4' then '04' end as c_career_dm, case t1.career when '0' then '保險(xiǎn)' when '1' then '教師' when '2' then '外企白領(lǐng)' when '3' then '自由職業(yè)' when '4' then 'IT工程師' end as c_career_mc, t1.hyzk, case t1.hyzk when '0' then '01' when '1' then '02' end as c_hyzk_dm, case t1.hyzk when '0' then '已婚' when '1' then '未婚' end as c_hyzk_mc, t1.gz, t1.decdbyjyje, t1.decdbyjybs, t1.zjzdjyrq, t1.jtnsr, t1.dqckcy from ${stg_base_yhkh_demo_di} t1;
在確認(rèn)節(jié)點(diǎn)信息對(duì)話框中，確認(rèn)節(jié)點(diǎn)標(biāo)識(shí)、節(jié)點(diǎn)名稱以及節(jié)點(diǎn)目錄信息無(wú)誤后，單擊確定。
單擊頁(yè)面右側(cè)運(yùn)行配置頁(yè)簽，選擇開(kāi)發(fā)計(jì)算引擎為“dataq_odps_dev”。
在畫(huà)布頂部操作欄，單擊
圖標(biāo)，自動(dòng)解析公共節(jié)點(diǎn)輸入輸出。在畫(huà)布頂部操作欄，單擊
圖標(biāo)，保存已修改的節(jié)點(diǎn)畫(huà)布。單擊
圖標(biāo)，出現(xiàn)節(jié)點(diǎn)變量確認(rèn)對(duì)話框，確認(rèn)默認(rèn)值無(wú)誤后，單擊確定。說(shuō)明參數(shù)名稱可復(fù)制，粘貼到默認(rèn)值中。
查看運(yùn)行結(jié)果和日志，當(dāng)結(jié)果顯示如下所示“Current task status:SUCCESS”，則表示運(yùn)行成功。
按照上述步驟新建其他公共節(jié)點(diǎn)。
公共節(jié)點(diǎn)2：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)“ods_base_xykxfmx_demo_di”，公共節(jié)點(diǎn)描述為”信用卡消費(fèi)“，節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${ods_base_xykxfmx_demo_di} select t1.id, t1.cid, t1.xfrq, t1.rid, t1.xfje, t1.xflx from ${stg_base_xykxfmx_demo_di} t1參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
公共節(jié)點(diǎn)3：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)“ods_base_xykbkjl_demo_di”，公共節(jié)點(diǎn)描述為”信用卡信息“，節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${ods_base_xykbkjl_demo_di} select t1.id, t1.cid, t1.climit, to_char(from_unixtime(t1.actdate),"yyyymmdd") as actdate, t1.channel, t1.rid from ${stg_base_xykbkjl_demo_di} t1參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
公共節(jié)點(diǎn)4：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)“dwd_xykyw_xfmx_demo_di”，公共節(jié)點(diǎn)描述”銀行客戶信息“，節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${dwd_xykyw_xfmx_demo_di} select * from ${ods_base_xykxfmx_demo_di};參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
公共節(jié)點(diǎn)5：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)/公共節(jié)點(diǎn)描述“dwd_xykyw_bkjl_demo_di”，節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${dwd_xykyw_bkjl_demo_di} select a.id, a.cid, a.climit, a.actdate, a.channel, a.rid, b.nl, b.c_xb_mc, b.c_career_mc from ${ods_base_xykbkjl_demo_di} a,${ods_base_yhkh_demo_di} b where a.rid=b.zzhm;參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
公共節(jié)點(diǎn)6：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)/公共節(jié)點(diǎn)描述“dwd_khzx_khxx_demo_di”，節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${dwd_khzx_khxx_demo_di} select id,zzhm,khmc,nl,c_xb_mc,sjhm, csrq,c_jysp_mc,c_career_mc,c_hyzk_mc, gz,decdbyjyje,decdbyjybs,zjzdjyrq,jtnsr, dqckcy from ${ods_base_yhkh_demo_di};參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
公共節(jié)點(diǎn)7：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)/公共節(jié)點(diǎn)描述“dws_sj_xykyzd_demo_di”，節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${dws_sj_xykyzd_demo_di} select row_number() over ( partition by a.aa order by a.cid, a.xfrq ), a.cid, a.xfrq, b.climit, a.rid, a.amount from ( select 1 as aa, cid, xfrq, rid, sum(xfje) as amount from ${dwd_xykyw_xfmx_demo_di} group by cid, xfrq, rid ) a left outer join ${dwd_xykyw_bkjl_demo_di} b on a.cid = b.cid;參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
公共節(jié)點(diǎn)8：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)“dws_wp_xyk_demo_di”，公共節(jié)點(diǎn)描述為“信用卡消費(fèi)”，節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${dws_wp_xyk_demo_di} select * from ${dwd_xykyw_bkjl_demo_di};參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
公共節(jié)點(diǎn)9：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)“dws_ren_kh_demo_di”，公共節(jié)點(diǎn)描述為“信用卡信息”。節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${dws_ren_kh_demo_di} select * from ${dwd_khzx_khxx_demo_di};參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
公共節(jié)點(diǎn)10：節(jié)點(diǎn)名稱/節(jié)點(diǎn)標(biāo)識(shí)“dws_sj_xykxfhz_demo_di”，簡(jiǎn)介為“銀行客戶信息”。節(jié)點(diǎn)SQL語(yǔ)句：
insert overwrite table ${dws_sj_xykxfhz_demo_di} select cid, xfrq, rid, sum(case xflx when '大額消費(fèi)' then xfje else 0 end), sum(case xflx when '大額整數(shù)消費(fèi)' then xfje else 0 end), sum(case xflx when '用一商戶連續(xù)刷卡' then xfje else 0 end), sum(case xflx when '購(gòu)買基金' then xfje else 0 end), sum(case xflx when '娛樂(lè)消費(fèi)' then xfje else 0 end), sum(case xflx when '購(gòu)買保險(xiǎn)' then xfje else 0 end), sum(xfje) from ${dwd_xykyw_xfmx_demo_di} group by cid,xfrq,rid;參數(shù)
配置信息
開(kāi)發(fā)計(jì)算引擎
dataq_odps_dev
節(jié)點(diǎn)變量
輸入和參數(shù)名一致的默認(rèn)值。
若您已在資產(chǎn)加工頁(yè)面，請(qǐng)?zhí)^(guò)“單擊資產(chǎn)加工”的操作。
預(yù)期結(jié)果
在公共節(jié)點(diǎn)列表可以查看新建的10個(gè)公共節(jié)點(diǎn)。