国产真实伦在线视频,韩国av日韩av,全网国产日韩欧美影视全部免费观看

輸入文檔關(guān)鍵字查找

LLM-MD5去重組件主要用于大語言模型（LLM）的文本數(shù)據(jù)預(yù)處理工作，可以計算文本的MD5哈希值，根據(jù)哈希值對文本進行去重。

使用限制

僅支持MaxCompute計算引擎。

對所有輸入的文本數(shù)據(jù)使用hashlib.md5哈希算法計算哈希值。哈希值相同的文本僅保留一個。

對于每條輸入文本，會去除頭尾空白符再計算哈希值，字符區(qū)分大小寫。

您可以在Designer中，通過可視化的方式配置組件參數(shù)。

頁簽	參數(shù)	是否必選	描述	默認值
字段設(shè)置	選擇目標處理列	是	選擇要處理的列。	無
字段設(shè)置	設(shè)置輸出表生命周期	否	正整數(shù)，單位為天。默認28天，28天后該組件產(chǎn)生的臨時表被回收。	28
執(zhí)行調(diào)優(yōu)	每個實例的cpu數(shù)目	否	設(shè)定map task每個instance的CPU數(shù)目，取值范圍為[50,800]。	100
	每個實例的memory大小，單位M	否	設(shè)定map task每個instance的memory大小，單位為MB，取值范圍為[256,12288]。	1024
	每個實例處理的數(shù)據(jù)大小，單位M	否	設(shè)定map task每個instance的最大處理數(shù)據(jù)量，用戶可以通過控制該變量，實現(xiàn)對map端輸入的控制。單位為MB，取值范圍為[1,Integer.MAX_VALUE]。	256