日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺(tái)
文檔
有獎(jiǎng)?wù){(diào)研
輸入文檔關(guān)鍵字查找
首頁(yè) 人工智能平臺(tái) PAI 操作指南 AI開(kāi)發(fā) 大模型應(yīng)用開(kāi)發(fā)（LangStudio） 實(shí)踐教程：RAG應(yīng)用流的開(kāi)發(fā)與部署

實(shí)踐教程：RAG應(yīng)用流的開(kāi)發(fā)與部署

更新時(shí)間：
產(chǎn)品詳情
相關(guān)技術(shù)圈
我的收藏

大語(yǔ)言模型的知識(shí)缺少企業(yè)私有或?qū)崟r(shí)的數(shù)據(jù)，通過(guò)RAG（Retrieval-Augmented Generation）技術(shù)可以檢索私有知識(shí)庫(kù)，并以上下文的方式提供給大語(yǔ)言模型，從而增強(qiáng)大語(yǔ)言模型回答的準(zhǔn)確性和相關(guān)性。本文將詳細(xì)介紹如何在LangStudio中開(kāi)發(fā)和部署一個(gè)RAG應(yīng)用。

前提條件

1. 部署LLM和Embedding模型

本文以快速開(kāi)始 > ModelGallery中部署的模型服務(wù)為例，后續(xù)創(chuàng)建連接時(shí)也會(huì)基于此處的模型服務(wù)進(jìn)行創(chuàng)建。

  1. 前往快速開(kāi)始 > ModelGallery，分別按場(chǎng)景選擇大語(yǔ)言模型及Embedding分類(lèi)，并部署指定的模型。本文以通義千問(wèn)1.5-7B-Chat和bge-large-zh-v1.5 通用向量模型為例進(jìn)行部署。請(qǐng)務(wù)必選擇使用指令微調(diào)的大語(yǔ)言模型（名稱(chēng)中包含“Chat”或是“Instruct”的模型），Base模型無(wú)法正確遵循用戶(hù)指令回答問(wèn)題。

    image

    image

    更多部署詳情，請(qǐng)參見(jiàn)模型部署及訓(xùn)練。

  2. 前往任務(wù)管理，單擊已部署的服務(wù)名稱(chēng)，在服務(wù)詳情頁(yè)簽下單擊查看調(diào)用信息，分別獲取前面部署的LLM和Embedding模型服務(wù)的VPC訪(fǎng)問(wèn)地址和Token，供后續(xù)創(chuàng)建連接時(shí)使用。

    image

    image

2. 創(chuàng)建連接

本文創(chuàng)建的LLM和Embedding模型服務(wù)連接基于快速開(kāi)始 > ModelGallery中部署的模型服務(wù)。更多其他類(lèi)型的連接及詳細(xì)說(shuō)明，請(qǐng)參見(jiàn)連接管理。

2.1 創(chuàng)建LLM服務(wù)連接

  1. 進(jìn)入LangStudio，選擇工作空間后，在連接管理頁(yè)簽下單擊新建連接，進(jìn)入應(yīng)用流創(chuàng)建頁(yè)面。

  2. 創(chuàng)建通用LLM模型服務(wù)連接。其中base_url和api_key分別對(duì)應(yīng)1. 部署LLM和Embedding模型中LLM的VPC訪(fǎng)問(wèn)地址和Token。

    image

2.2 創(chuàng)建Embedding模型服務(wù)連接

同2.1 創(chuàng)建LLM服務(wù)連接，創(chuàng)建通用Embedding模型服務(wù)連接。其中base_url和api_key分別對(duì)應(yīng)1. 部署LLM和Embedding模型中Embedding模型的VPC訪(fǎng)問(wèn)地址和Token。

image

2.3 創(chuàng)建向量數(shù)據(jù)庫(kù)連接

同2.1 創(chuàng)建LLM服務(wù)連接，創(chuàng)建Milvus數(shù)據(jù)庫(kù)連接。

image

關(guān)鍵參數(shù)說(shuō)明：

  • uri：Milvus實(shí)例的訪(fǎng)問(wèn)地址，即http://<Milvus內(nèi)網(wǎng)訪(fǎng)問(wèn)地址>，Milvus內(nèi)網(wǎng)訪(fǎng)問(wèn)地址如下：

    image

    則uri為http://c-b1c5222fba****-internal.milvus.aliyuncs.com。

  • token：登錄Milvus實(shí)例的用戶(hù)名和密碼，即<yourUsername>:<yourPassword>。

  • database：數(shù)據(jù)庫(kù)名稱(chēng)，本文使用默認(rèn)數(shù)據(jù)庫(kù)default。

3. 創(chuàng)建離線(xiàn)知識(shí)庫(kù)

通過(guò)PAI-Designer預(yù)置的RAG離線(xiàn)知識(shí)庫(kù)構(gòu)建工作流模板，將語(yǔ)料經(jīng)過(guò)解析、分塊、向量化后存儲(chǔ)到向量數(shù)據(jù)庫(kù)，從而構(gòu)建知識(shí)庫(kù)。

  1. 進(jìn)入PAI-Designer，選擇工作空間后，在預(yù)置模板 > LLM 大語(yǔ)言模型頁(yè)簽下創(chuàng)建并進(jìn)入RAG離線(xiàn)知識(shí)庫(kù)構(gòu)建工作流。

    image

  2. 配置工作流，關(guān)鍵組件說(shuō)明：

    image

    工作流中的其余配置保持默認(rèn)或根據(jù)實(shí)際需求進(jìn)行配置，關(guān)鍵組件配置如下：

    • 讀OSS數(shù)據(jù)

      OSS數(shù)據(jù)路徑：配置前提條件中RAG知識(shí)庫(kù)語(yǔ)料的OSS路徑。

    • RAG文本解析分塊

      塊大小：本文部署的Embedding模型bge-large-zh-v1.5最大輸入為512，需要將文本分塊大小調(diào)整為512或者更小。

    • RAG文本向量生成

      Embedding模型連接：配置2.2 創(chuàng)建Embedding模型服務(wù)連接中創(chuàng)建的連接。

    • RAG索引構(gòu)建

      • 向量數(shù)據(jù)庫(kù)連接：配置2.3 創(chuàng)建向量數(shù)據(jù)庫(kù)連接 中創(chuàng)建的連接。

      • 集合/表名稱(chēng)：配置前提條件中創(chuàng)建Milvus數(shù)據(jù)庫(kù)的Collection。

      • 執(zhí)行調(diào)優(yōu) > 專(zhuān)有網(wǎng)絡(luò)配置：配置Milvus實(shí)例所在的專(zhuān)有網(wǎng)絡(luò)。

  3. 運(yùn)行工作流。

4. 創(chuàng)建并運(yùn)行RAG應(yīng)用流

  1. 進(jìn)入LangStudio，選擇工作空間后，在應(yīng)用流頁(yè)簽下單擊新建應(yīng)用流，模板類(lèi)型選擇RAG，創(chuàng)建RAG應(yīng)用流。

    image

  2. 啟動(dòng)運(yùn)行時(shí)：?jiǎn)螕粲疑辖?b data-tag="uicontrol" id="61d9bde175r2u" class="uicontrol">啟動(dòng)運(yùn)行時(shí)并進(jìn)行配置。在進(jìn)行Python節(jié)點(diǎn)解析或查看更多工具時(shí)，需要保證運(yùn)行時(shí)已啟動(dòng)。

    image

    關(guān)鍵參數(shù)說(shuō)明：

    專(zhuān)有網(wǎng)絡(luò)配置：選擇前提條件中創(chuàng)建Milvus實(shí)例時(shí)的專(zhuān)有網(wǎng)絡(luò)。

    image

  3. 開(kāi)發(fā)應(yīng)用流。應(yīng)用流中的其余配置保持默認(rèn)或根據(jù)實(shí)際需求進(jìn)行配置，關(guān)鍵節(jié)點(diǎn)配置如下：

    • rewrite_question：重寫(xiě)用戶(hù)問(wèn)題，將用戶(hù)的問(wèn)題重寫(xiě)為更具體、準(zhǔn)確的表述。

    • retrieve：在知識(shí)庫(kù)中檢索與用戶(hù)問(wèn)題相關(guān)的文本。

    • threshold_filter：根據(jù)向量索引查找組件返回的相似度分?jǐn)?shù)過(guò)濾分?jǐn)?shù)低于閾值的文檔。

    • generate_answer：使用過(guò)濾后的文檔作為上下文，與用戶(hù)問(wèn)題一起發(fā)送給大語(yǔ)言模型，生成回答。

      • connection：選擇2.1 創(chuàng)建LLM服務(wù)連接中創(chuàng)建的連接。為了簡(jiǎn)化流程，本文在generate_answer階段采用和rewrite_question階段相同的連接。在生產(chǎn)階段，您可以根據(jù)實(shí)際需求創(chuàng)建并選擇不同的連接。

      • model：輸入default。如果connection選擇的是百煉大模型服務(wù)連接，則model需在下拉列表中選擇對(duì)應(yīng)的模型名稱(chēng)，百煉模型名稱(chēng)可在百煉-模型廣場(chǎng)中查看。

  4. 調(diào)試/運(yùn)行：?jiǎn)螕粲疑辖?b>對(duì)話(huà)， 開(kāi)始執(zhí)行應(yīng)用流。

    image

  5. 查看鏈路：?jiǎn)螕羯纱鸢赶碌?b data-tag="uicontrol" id="449037e25228y" class="uicontrol">查看鏈路，查看Trace詳情或拓?fù)湟晥D。

    image

5. 部署應(yīng)用流

在應(yīng)用流開(kāi)發(fā)頁(yè)面，單擊右上角部署，部署參數(shù)其余配置保持默認(rèn)或根據(jù)實(shí)際需求進(jìn)行配置，關(guān)鍵參數(shù)配置如下：

  • 資源部署信息 > 實(shí)例數(shù)：配置服務(wù)實(shí)例數(shù)。本文部署僅供測(cè)試使用，因此實(shí)例數(shù)配置為1。在生產(chǎn)階段，建議配置多個(gè)服務(wù)實(shí)例，以降低單點(diǎn)故障的風(fēng)險(xiǎn)。

  • 專(zhuān)有網(wǎng)絡(luò)配置 > VPC：配置Milvus實(shí)例所在的專(zhuān)有網(wǎng)絡(luò)。

更多部署詳情，請(qǐng)參見(jiàn)應(yīng)用流部署。

6. 調(diào)用服務(wù)

部署成功后，跳轉(zhuǎn)到PAI-EAS，在在線(xiàn)調(diào)試頁(yè)簽下配置并發(fā)送請(qǐng)求。請(qǐng)求參數(shù)中的Key與應(yīng)用流中輸入節(jié)點(diǎn)中的"Chat 輸入"字段一致，本文使用默認(rèn)字段question。

image

更多調(diào)用方式（如API調(diào)用）及詳細(xì)說(shuō)明，請(qǐng)參見(jiàn)調(diào)用服務(wù)。

相關(guān)文檔