數據集說明

本文Designer中“LLM大語言模型數據處理-github code-DLC組件”預置模板用的數據集為開源項目RedPajama-Data的原始數據中抽取的5000個樣本數據。

創建并運行工作流

1. 進入Designer頁面。

   1. 登錄PAI控制臺。

   2. 在頂部左上角根據實際情況選擇地域。

   3. 在左側導航欄選擇工作空間列表，單擊指定工作空間名稱，進入對應工作空間。

   4. 在左側導航欄選擇模型開發與訓練 > 可視化建模（Designer），進入Designer頁面。

2. 創建工作流。

   1. 在預置模板頁簽下，選擇業務領域 > LLM 大語言模型，單擊LLM大語言模型數據處理-github code - DLC組件模板卡片上的創建。

      

   2. 配置工作流參數（或保持默認），單擊確定。

   3. 在工作流列表，選擇已創建的工作流，單擊進入工作流。

3. 工作流說明：

   工作流中關鍵算法組件說明： LLM-敏感信息打碼（DLC）-1 將“content”字段中的敏感信息打碼。例如： 將郵箱地址字符替換成[EMAIL]。 將手機電話號碼替換成[TELEPHONE]或[MOBILEPHONE]。 將身份證號碼替換成IDNUM。 LLM-特殊內容移除（DLC）-1 將“content”字段中的URL鏈接刪除。 LLM-文本標準化（DLC）-1 將“content”字段中的文本進行Unicode標準化處理。 LLM-Copyright信息移除（DLC）-1 刪除“content”字段中的Copyright信息。 LLM-計數過濾（DLC）-1 將“content”字段中不符合數字和字母字符占比，和不符合字母字符占文本token比例的樣本去除。GitHub代碼數據集中大部分字符都由字母和數字組成，通過該組件可以去除部分臟數據。 LLM-長度過濾（DLC）-1 根據“content”字段的長度、平均長度以及最大行長度進行樣本過濾。平均長度以及最大行長度基于換行符\n分割樣本。 LLM-N-Gram重復比率過濾（DLC）-1 根據“content”字段的字符級N-Gram重復比率和詞語級N-Gram重復比率（會先將所有單詞轉成小寫格式再計算重復度）進行樣本過濾，即將文本里的內容按照字符進行大小為N的滑動窗口操作，形成了長度為N的片段序列。每一個片段稱為gram，對所有gram的出現次數進行統計。最后統計頻次大于1的gram的頻次總和 / 所有gram的頻次總和兩者比率作為重復比率進行樣本過濾。 LLM-長度過濾（DLC）-2 根據“content”字段的長度進行樣本過濾。 LLM-文章相似度去重（DLC）-1 根據設置的window_size、num_blocks和hamming_distance值去除相似的樣本。

4. 運行工作流。

   運行結束后，右鍵單擊LLM-文章相似度去重（DLC）-1組件，選擇查看數據 > 輸出數據（OSS），查看經過上述所有組件處理后的樣本文件。

   

相關參考

• LLM算法組件詳細說明，請參見LLM數據處理（DLC）。

• 在完成數據處理后，您可以使用PAI平臺提供的一系列大模型組件（包括數據處理組件、訓練組件以及推理組件），來實現大模型從開發到使用的端到端流程。詳情請參見LLM大語言模型端到端鏈路-DLC組件：數據處理+模型訓練+模型推理。