LLM-刪除LaTeX注釋行組件主要用于大語言模型(LLM)的文本數據預處理工作,適用于TEX文檔格式數據。主要功能是刪除LaTeX格式文本中的注釋行以及行內注釋。
支持的計算資源
算法說明
定義LaTeX格式文本注釋行的正則表達式如下:
注釋類型 | 正則表達式 |
多行注釋 |
|
單行注釋 |
|
提取所有滿足上述正則表達式的字符串,替換為空字符串。示例如下:
處理前 | 處理后 |
配置組件
在Designer工作流頁面添加LLM-刪除LaTeX注釋行組件,并在界面右側配置相關參數:
參數類型 | 參數 | 描述 |
字段設置 | 選擇目標處理列 | 選擇要處理的列,支持多選。 |
是否刪除所有行注釋 | 是否刪除所有的注釋行。 | |
是否刪除一行內的所有注釋 | 是否刪除一行內的所有注釋。 | |
設置輸出表生命周期 | 正整數,單位為天。默認28天,28天后該組件產生的臨時表被回收。 | |
執行調優 | 每個實例的cpu數目 | 設定map task每個instance的CPU數目,取值范圍:50~800,默認值:100。 |
每個實例的memory大小,單位M | 設定map task每個instance的memory大小,取值范圍:256~12288,默認值:1024,單位:MB。 | |
每個實例處理的數據大小,單位M | 設定map task每個instance的最大處理數據量,取值范圍:1~Integer.MAX_VALUE,默認值:256,單位:MB。 您可以通過控制這個變量,從而達到對map端輸入的控制。 |
文檔內容是否對您有幫助?