LLM模型離線推理組件支持的LLM模型來源于PAI的快速開始中的部分LLM模型，將在線推理轉為離線推理。
使用限制
僅支持DLC計算引擎。
可視化配置參數
您可以在Designer中，通過可視化的方式配置組件參數。
頁簽 | 參數 | 是否必選 | 描述 | 默認值 |
字段設置 | model_name | 是 | 模型名稱。 | 無 |
推理結果保存目錄 | 否 | 保存推理結果的OSS目錄。如果為空，使用工作空間的默認路徑。 | 無 | |
推理數據路徑，支持OSS和MaxCompute | 否 | 推理數據路徑。如果已經連接到其他輸入組件，可不填。數據格式請參見示例。每個樣本可自定義top_k、temperature等參數，默認使用參數設置中配置的參數值。 | 無 | |
模型OSS路徑 | 否 | 模型輸入的OSS路徑，如果已經連接到其他輸入組件，可不填。如果為空且未連接到其他輸入組件，則使用模型名稱對應的默認預訓練模型。 | 無 | |
參數設置 | top_k | 是 | 模型從最可能的k個選項中隨機選擇一個。 | 1 |
top_p | 是 | 模型從累計概率大于或等于p的最小集合中隨機選擇一個。 | 0.8 | |
temperature | 是 | 控制生成文本隨機性的參數。較高的溫度值會產生更隨機的輸出，而較低的溫度值則會使模型更傾向于選擇最可能的單詞。 | 0.95 | |
max_new_tokens | 是 | 生成的最大token數量。 | 2048 | |
system_prompt | 是 | 系統提示詞，作用在整個模型推理過程中。 | Act like you are programmer with 5+ years of experience. | |
執行調優 | GPU | 否 | 選擇用于計算的GPU的ECS實例。 | 無 |
最大運行時長（秒） | 否 | 算法運行的最長時間。 | 無 |
相關文檔
關于Designer組件更詳細的內容介紹，請參見Designer概述。
更多關于LLM模型的說明，請參見快速開始（QuickStart）。
文檔內容是否對您有幫助？