過(guò)濾與映射
更新時(shí)間:
過(guò)濾與映射組件可以對(duì)數(shù)據(jù)按照過(guò)濾表達(dá)式進(jìn)行篩選,并且您可以修改輸出字段名稱(chēng)。
組件配置
您可以使用以下任意一種方式,配置過(guò)濾與映射組件參數(shù)。
方式一:可視化方式
在Designer工作流頁(yè)面配置組件參數(shù)。
參數(shù) | 描述 |
選擇字段 | 選擇要篩選的列,默認(rèn)選擇全部列。也可以修改輸出字段名稱(chēng)。 |
過(guò)濾條件 | 通過(guò)where條件實(shí)現(xiàn)數(shù)據(jù)過(guò)濾,與SQL類(lèi)似,例如age>40。 說(shuō)明 僅支持以下操作符:
|
方式二:PAI命令方式
使用PAI命令方式,配置該組件參數(shù)。您可以使用SQL腳本組件進(jìn)行PAI命令調(diào)用,詳情請(qǐng)參見(jiàn)SQL腳本。
PAI -name Filter
-project algo_public
-DoutTableName="test_9"
-DinputPartitions="pt=20150501"
-DinputTableName="bank_data_partition"
-Dfilter="age>=40";
參數(shù)名稱(chēng) | 是否必選 | 參數(shù)描述 |
outputTableName | 是 | 輸出表的名稱(chēng) |
inputPartitions | 否 | 訓(xùn)練輸入表分區(qū)。輸入表對(duì)應(yīng)的輸入分區(qū),選中全表則為None。 |
inputTableName | 是 | 輸入表的名稱(chēng) |
filter | 否 | 通過(guò)where條件實(shí)現(xiàn)數(shù)據(jù)過(guò)濾,與SQL類(lèi)似,例如age>40。 說(shuō)明 僅支持以下操作符:
|
文檔內(nèi)容是否對(duì)您有幫助?