LLM調(diào)用鏈分析
將LLM的Trace數(shù)據(jù)上報(bào)至可觀測(cè)鏈路 OpenTelemetry 版后，調(diào)用鏈分析功能將會(huì)對(duì)大模型應(yīng)用的調(diào)用鏈信息進(jìn)行分析，您可以在調(diào)用鏈分析頁面查看大模型調(diào)用鏈中不同類型的Span耗時(shí)、以及Span的關(guān)聯(lián)信息，例如Input、Output、Token消耗等。
LLM調(diào)用鏈分析功能正在內(nèi)測(cè)中，如需體驗(yàn)該功能，請(qǐng)加入釘釘群（群號(hào)：67690017432）獲取幫助。
前提條件
已將LLM的Trace數(shù)據(jù)上報(bào)至可觀測(cè)鏈路 OpenTelemetry 版。具體操作，請(qǐng)參見開始監(jiān)控LLM應(yīng)用。
篩選調(diào)用鏈
在左側(cè)導(dǎo)航欄單擊調(diào)用鏈分析，然后在頂部菜單欄選擇目標(biāo)地域。
在調(diào)用鏈分析頁面右上角的時(shí)間選擇框設(shè)置需要查詢的時(shí)間段，并單擊大模型視圖。
篩選調(diào)用鏈。
在左側(cè)快捷篩選區(qū)域，通過狀態(tài)、耗時(shí)、Span名稱、接口名稱和模型名稱維度快速篩選調(diào)用鏈。
篩選條件將會(huì)顯示在頁面頂部文本框內(nèi)。
單擊頂部文本框，在下拉彈窗中修改篩選條件或設(shè)置其他維度的篩選條件。
在頂部文本框直接輸入查詢條件。查詢語法說明，請(qǐng)參見調(diào)用鏈分析查詢用法說明。
說明單擊文本框右側(cè)的
圖標(biāo)可以保存當(dāng)前篩選條件。單擊文本框右側(cè)的已保存視圖可以查看已保存的篩選條件，單擊目標(biāo)的篩選條件可以快速查看對(duì)應(yīng)篩選條件下的調(diào)用鏈信息。
選擇聚合維度，可以將篩選后的數(shù)據(jù)按照指定維度聚合。
調(diào)用鏈列表
篩選設(shè)置完成后，調(diào)用鏈分析頁面將會(huì)顯示篩選過濾后的LLM調(diào)用鏈信息，包括調(diào)用次數(shù)、Tokens、耗時(shí)百分位和耗時(shí)分布，以及調(diào)用鏈列表。
調(diào)用鏈列表顯示了調(diào)用鏈的Trace ID、接口名稱、耗時(shí)、Total tokens、開始時(shí)間、會(huì)話ID。在調(diào)用鏈列表區(qū)域，您可以執(zhí)行以下操作：
單擊目標(biāo)Trace右側(cè)操作列的詳情，可以查看完整的調(diào)用鏈信息。更多信息，請(qǐng)參見調(diào)用鏈詳情。
單擊目標(biāo)Trace右側(cè)操作列的日志，可以查看調(diào)用鏈對(duì)應(yīng)的日志信息。
單擊右上角的
圖標(biāo)可以增加或隱藏列表顯示的參數(shù)。將鼠標(biāo)懸浮于Trace參數(shù)上，單擊右側(cè)的
圖標(biāo)，可以將當(dāng)前參數(shù)值添加為篩選條件。
調(diào)用鏈詳情
在調(diào)用鏈詳情面板可以查看調(diào)用鏈的時(shí)間軸、開始時(shí)間、總耗時(shí)，以及Span名稱、類型、應(yīng)用名稱、Token數(shù)、耗時(shí)等信息。
在鏈路詳情面板，您可以執(zhí)行以下操作：
將鼠標(biāo)懸浮于Tokens標(biāo)簽上，可以查看Token數(shù)據(jù)詳情。
單擊Span名稱，可以查看該Span的時(shí)長(zhǎng)、開始時(shí)間、附加信息、指標(biāo)、日志等信息。不同的操作類型展示信息略有不同。
附加信息展示了模型名稱、輸入問題、Prompt模板、調(diào)用參數(shù)和返回結(jié)果。
Attribute字段說明，請(qǐng)參見LLM Trace字段定義說明。
相關(guān)文檔
調(diào)用鏈分析更多功能說明，請(qǐng)參見調(diào)用鏈分析。