參數

類型

必填

描述

示例值

messages

List[Dict]

是

包含迄今為止對話的消息列表：

• role為角色，可選system，user，assistant。

  • system：表示系統級消息，只能用于對話歷史的第一條（messages[0]）。使用system角色是可選的，如果存在，必須位于列表的最開始。

  • user和assistant：表示用戶和模型的對話。這兩類角色應交替出現在對話中，模擬實際對話流程。

• content為對話信息， 不得為空。

[

{"role": "system", "content": "你是一個機器人助手"},

{"role": "user", "content": "河南的省會是哪里"},

{"role": "assistant", "content": "鄭州"},

{"role": "user", "content": "那里有什么好玩的"}

]

model

String

是

服務ID，支持的服務ID請參見

支持的服務列表。

ops-qwen-turbo

max_tokens

Int

否

聊天完成時生成的最大Token 數。如果已達到該值仍然沒有結束，finish_reason值為length，否則值為stop。

1024

temperature

Float

否

temperature值控制了生成文本時對每個候選詞的概率分布，用于控制模型回復的隨機性和多樣性，取值范圍： [0, 2)，取值為0時無意義。

較高的temperature值會降低概率分布的峰值，使得更多的低概率詞被選擇，生成結果更加多樣化；較低的temperature值則會增強概率分布的峰值，使得高概率詞更容易被選擇，生成結果更加確定。

1

top_p

Float

否

生成過程中的核采樣方法概率閾值，取值范圍為（0,1.0），取值越大，生成的隨機性越高；取值越低，生成的確定性越高。

0.8

presence_penalty

Float

否

控制模型生成時整個序列中的重復度，取值范圍[-2.0, 2.0]，默認值為0。

提高presence_penalty可以降低模型生成的重復度。

0

frequency_penalty

Float

否

頻率懲罰值，取值范圍[-2.0, 2.0]，默認值為0。

正值會根據新生成的詞匯在文本中目前的頻率來進行懲罰，減少模型重復同樣話語的可能性。

0

stop

String, List[String]

否

停止詞，在模型生成的內容即將包含指定的字符串或token_id時自動停止，生成的內容不包含指定的內容。stop可以為String類型或Array類型。

默認null

stream

Boolean

否

控制是否使用流式輸出。當以stream模式輸出結果時，接口返回結果為generator，需要通過迭代獲取結果，每次輸出為當前生成的增量序列。默認值為false。

false

參數

類型

描述

示例值

id

String

系統生成的標識本次調用的ID。

2244F3A8-4201-4F37-BF86-42013B1026D6

object

String

對象類型，固定為chat.completion。

chat.completion

created

Long

Unix當前時間戳，單位s。

1719313883

model

String

調用的模型名。

ops-qwen-turbo

choices.index

Int

模型生成結果的序號，0表示第一個結果。

0

choices.message

Map

模型輸出的消息。

{

"role":"assistant",

"content":"這是個示例"

}

choices.finish_reason

String

段式 + 流式

• stop：表示模型返回了完整的輸出。

• length：由于生成長度過長導致停止生成內容。如需增加生成內容長度，可通過入參max_tokens的值調整。

• 以 content_filter開頭的表示安全過濾的結果。

stop

usage.completion_tokens

Int

模型生成回復轉換為Token后的長度。

150

usage.prompt_tokens

Int

用戶請求大模型輸入的內容轉換后的Token數量。

180

usage.total_tokens

Int

總Token用量，usage.prompt_tokens與usage.completion_tokens的總和。

330