MaxCompute表導(dǎo)入OSS
MaxCompute表導(dǎo)入OSS組件主要用于將MaxCompute表導(dǎo)入OSS。表中的每一行數(shù)據(jù)導(dǎo)出為一個(gè)合法的JSON對(duì)象,導(dǎo)出文件(JSONL格式,示例)由多行JSON對(duì)象組成,整個(gè)文件本身不是合法的JSON對(duì)象。數(shù)據(jù)量大時(shí)可能會(huì)被切分為多個(gè)文件。
支持的計(jì)算資源
配置組件
在Designer工作流頁(yè)面添加MaxCompute表導(dǎo)入OSS組件,并在界面右側(cè)配置相關(guān)參數(shù):
參數(shù)類型 | 參數(shù) | 是否必選 | 描述 | 默認(rèn)值 |
字段設(shè)置 | OSS存儲(chǔ)目錄 | 是 | 導(dǎo)出數(shù)據(jù)的OSS存儲(chǔ)目錄,導(dǎo)出數(shù)據(jù)可能會(huì)切分為多個(gè)文件。 | 無(wú) |
執(zhí)行調(diào)優(yōu) | 每個(gè)實(shí)例的cpu數(shù)目 | 否 | 設(shè)定map task每個(gè)instance的CPU數(shù)目,取值范圍為[50,800]。 | 100 |
每個(gè)實(shí)例的memory大小,單位M | 否 | 設(shè)定map task每個(gè)instance的memory大小,單位為MB,取值范圍為[256,12288]。 | 1024 | |
每個(gè)實(shí)例處理的數(shù)據(jù)大小,單位M | 否 | 設(shè)定map task每個(gè)instance的最大處理數(shù)據(jù)量,用戶可以通過(guò)控制該變量,實(shí)現(xiàn)對(duì)map端輸入的控制。單位為MB,取值范圍為[1,Integer.MAX_VALUE]。 | 256 |