LangStudio為應用流開發提供了直觀且高效的集成開發環境,您可以構建、調試和優化由大語言模型、Python節點以及其他工具組成的應用流。
前提條件
已創建所需的連接。具體操作,請參見連接管理。
創建應用流
進入LangStudio,選擇工作空間后,在應用流頁簽下單擊新建應用流,進入應用流創建頁面。
從模板新建
RAG:創建一個檢索增強生成(Retrieval-Augmented Generation)應用,需要使用到向量數據庫和LLM連接。
function-calling:創建一個支持工具使用的LLM應用,需要使用LLM連接和SerpAPI連接。
nl2sql:創建一個基于自然語言生成并執行SQL的LLM應用,需要使用LLM連接和RDS MySQL連接。
按類型新建
標準型:適用于通用應用程序開發。利用大語言模型的強大功能、定制的Python代碼等來打造您的定制化應用流。
對話型:適用于對話型應用程序開發。在標準型的基礎上,對話型提供對話歷史、輸入、輸出的管理,以及對話框形式的測試界面。
開發應用流
應用流開發界面分為以下區域:
區域 | 區域說明 | 備注 |
① | 應用流概覽區域 | 應用流的DAG圖,可直觀地查看數據在整個應用流中的傳遞。 |
② | 文件列表區域 | 應用流項目中的文件,您可以點擊這些文件進行查看和編輯。 |
③ | 應用流配置區域 | 編輯和配置應用流中的各個節點。 |
④ | 純代碼模式開關 | 應用流配置頁(即區域②中的flow.dag.yaml文件)支持切換到純代碼模式。如果您更習慣于直接編寫代碼而不是使用可視化界面,可以啟用此模式。 |
⑤ | 應用流配置工具欄 | 包含配置應用流時常用的功能,如保存、添加Python節點、添加LLM節點和更多工具。 |
⑥ | 應用流運行工具欄 | 包含一些常用的操作按鈕,如啟動/查看/刪除運行時、調試/運行應用流、查看應用流運行歷史以及應用流部署。 重要
|
基礎開發流程如下:
添加LLM/Python節點:鼠標懸停在兩節點間空隙或單擊應用流配置工具欄。
啟動運行時:單擊右上角啟動運行時并進行配置。在進行Python節點解析或查看更多工具時,需要保證運行時已啟動。
關鍵參數說明:
專有網絡配置:請確保選擇的VPC和應用流所用的連接(如LLM服務連接、數據庫服務連接等)所在的VPC一致或兩者網絡已連通。
配置節點參數。
支持添加Python、LLM和工具節點。當添加Python節點時,關鍵說明:
函數需要被
@tool
裝飾,才可以被加載為一個節點。修改完代碼后,單擊解析,函數的入參會被動態解析,成為節點的輸入;函數的輸出會被放到output字典中,可以被其他節點引用。
注:圖中Python節點的入參input1是chat節點的輸出,同時Python節點的輸出作為應用流最終的輸出字段answer的值。
函數支持的輸入/輸出類型:int、float、bool、str、dict、TypedDict、dataclass(只支持輸出)、list。
調試/運行:單擊右上角對話/運行, 開始執行應用流。
查看鏈路/錯誤日志:單擊生成答案下的查看鏈路或查看日志,查看鏈路(Trace詳情、拓撲視圖)或運行日志。
刪除運行時。如果您暫不需要運行業務流,建議刪除運行時,避免持續計費。
后續操作
應用流開發、調試完成后,您可以將應用流部署至模型在線服務PAI-EAS中供生產使用。