創(chuàng)建EMR表
本文為您介紹如何創(chuàng)建EMR(E-MapReduce)表。
背景信息
創(chuàng)建EMR數(shù)據(jù)源后,平臺將自動在數(shù)據(jù)地圖新建EMR元數(shù)據(jù)采集器來采集該集群元數(shù)據(jù),若您創(chuàng)建EMR數(shù)據(jù)源后仍無法在此界面選擇到EMR庫,請前往數(shù)據(jù)地圖找到該集群的元數(shù)據(jù)采集器重新采集,詳情請參見采集E-MapReduce元數(shù)據(jù)。
操作步驟
進入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側(cè)導(dǎo)航欄的 ,在下拉框中選擇對應(yīng)工作空間后單擊進入數(shù)據(jù)開發(fā)。
鼠標懸停至圖標,單擊 。
您也可以找到相應(yīng)的業(yè)務(wù)流程,右鍵單擊EMR,單擊新建表。
在新建表對話框中,配置表所在的引擎實例、路徑等信息。
單擊新建,進入表編輯頁面。
在基本屬性區(qū)域,配置各項參數(shù)。
名稱
描述
一級主題
新建表所處的一級目標文件夾名稱。
說明一級、二級主題僅僅是DataWorks上文件夾的擺放形式,目的是為了您能更好地管理您的表。
二級主題
新建表所處的二級目標文件夾名稱。
新建主題
單擊新建主題,進入主題管理頁面,您可以在該頁面創(chuàng)建一級主題、二級主題。
刷新
新建主題后,單擊刷新。
描述
對新建表進行簡單描述。
在物理模型設(shè)計區(qū)域,配置各項參數(shù)。
參數(shù)
描述
層級
從下拉列表中選擇相應(yīng)的層級和物理分類。如果您需要新建層級和物理分類,請聯(lián)系工作空間管理員,單擊新建層級,在層級管理頁面進行添加。新建成功后,單擊刷新。
物理分類
分區(qū)類型
包括分區(qū)表和非分區(qū)表。
表類型
包括內(nèi)部表和外部表。
選擇存儲格式
根據(jù)需要選擇表中文件的存儲格式。
在表結(jié)構(gòu)設(shè)計區(qū)域,配置各項參數(shù)。
參數(shù)
描述
添加字段
單擊添加字段,配置字段信息后,單擊保存,即可新增一個字段。
上移
調(diào)整未創(chuàng)建的表的字段順序。如果為已經(jīng)創(chuàng)建的表調(diào)整字段順序,會要求刪除當前已經(jīng)創(chuàng)建的表,再新建一張同名表。生產(chǎn)環(huán)境中禁止該操作。
下移
字段英文名
字段的英文名稱,由字母、數(shù)字和下劃線(_)組成。
字段類型
支持TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、VARCHAR、CHAR、STRING、BINARY、DATETIME、DATE、TIMESTAMP、BOOLEAN、ARRAY、MAP和STRUCT。
長度/設(shè)置
當選擇的字段類型需要設(shè)置長度時,請在文本框中進行配置。
描述
對字段進行描述。
主鍵
勾選表示該字段是主鍵。該主鍵為業(yè)務(wù)概念,您可以在業(yè)務(wù)上保證記錄的唯一性,DataWorks對主鍵無約束。
編輯
單擊已保存字段后的編輯,修改當前字段的配置,并單擊保存。
刪除
刪除已經(jīng)創(chuàng)建的字段。
說明已經(jīng)創(chuàng)建的表,刪除字段重新提交時,會要求刪除當前表,再去建一張同名表,在生產(chǎn)環(huán)境中禁止該操作。
添加分區(qū)
如果您在物理模型設(shè)計區(qū)域,設(shè)置分區(qū)類型為分區(qū)表,則需要配置分區(qū)。
您可以為當前表新建一個分區(qū)。如果為已經(jīng)創(chuàng)建的表添加分區(qū),會要求刪除當前已經(jīng)創(chuàng)建的表,再新建一張同名表。生產(chǎn)環(huán)境中禁止該操作。
單擊工具欄中的圖標,提交EMR表至生產(chǎn)環(huán)境。
如果您使用的是標準模式的工作空間,請先提交表至開發(fā)環(huán)境,再提交表至生產(chǎn)環(huán)境。
說明提交時,您需要選擇提交表時所用的調(diào)度資源組,當使用Serverless資源組提交表時,DataWorks平臺將下發(fā)對應(yīng)新建表的任務(wù)到引擎?zhèn)葓?zhí)行,并打印執(zhí)行過程的執(zhí)行日志,如果資源提交過程中出現(xiàn)問題,您可以先通過日志自助排查。如果您目前無可用的Serverless資源組,請購買并配置Serverless資源組便于使用,操作詳情請參見新增和使用Serverless資源組。