頁簽

參數(shù)

是否必選

描述

默認(rèn)值

字段設(shè)置

選擇目標(biāo)處理列

是

選擇要處理的列。

無

全局唯一字段列

是

該列的值必須是全局唯一。

無

將所有樣本切分成多少組

否

控制groupby的分組數(shù)使得每一批記錄默認(rèn)在指定級(jí)別左右。

10000

是否保存質(zhì)量標(biāo)簽和置信度

否

是否將質(zhì)量結(jié)果保存到輸出表中。如果勾選，則在輸出表中新增兩列用來存儲(chǔ)計(jì)算結(jié)果；否則不做存儲(chǔ)。

• 質(zhì)量標(biāo)簽保存列名：可選，保存質(zhì)量標(biāo)簽的列名，該列的值為0或1，默認(rèn)列名為quality_label。

• 置信度保存列名：可選，保存質(zhì)量置信度的列名，該列值為0~1之間的浮點(diǎn)類型值，默認(rèn)列名為quality_score。

無

SQL腳本

否

where語句填寫，質(zhì)量標(biāo)簽?zāi)J(rèn)保存到quality_label列，置信度默認(rèn)保存到quality_score列，可根據(jù)這兩列的結(jié)果進(jìn)行過濾。例如：where quality_label = 1 and quality_score >= 0.8。如果保存結(jié)果并修改了列名，請(qǐng)根據(jù)修改后的列名填寫。

無

設(shè)置輸出表生命周期

否

正整數(shù)，單位為天。默認(rèn)28天，28天后該組件產(chǎn)生的臨時(shí)表被回收。

28

執(zhí)行調(diào)優(yōu)

每個(gè)實(shí)例的cpu數(shù)目

否

設(shè)定map task每個(gè)instance的CPU數(shù)目，取值范圍為[50,800]。

100

每個(gè)實(shí)例的memory大小，單位M

否

設(shè)定map task每個(gè)instance的memory大小，單位為MB，取值范圍為[256,12288]。

1024

每個(gè)實(shí)例處理的數(shù)據(jù)大小，單位M

否

設(shè)定map task每個(gè)instance的最大處理數(shù)據(jù)量，用戶可以通過控制該變量，實(shí)現(xiàn)對(duì)map端輸入的控制。單位為MB，取值范圍為[1,Integer.MAX_VALUE]。

256