背景信息

大語言模型（LLM）在生成準確性和實時性回復方面存在局限，因此并不適合直接用于需要精確信息的客服或問答等場景。為了解決這一問題，當前業界廣泛采用的方法是利用檢索增強生成（Retrieval-Augmented Generation, RAG）技術來增強LLM的性能，這一技術可以顯著提升問答、摘要生成以及其他需要引用外部知識的自然語言處理（NLP）任務的質量。

RAG通過將大語言模型（如通義千問）和信息檢索組件結合在一起，增強了模型生成答案的準確性和信息量。在處理用戶查詢時，RAG通過信息檢索組件在知識庫中尋找與查詢相關的文檔或信息片段，將這些檢索到的內容與原始查詢一同輸入大語言模型之后，模型能夠利用現有的歸納生成能力產生基于最新信息的、符合事實的回復，而無需對模型進行重新訓練。

使用EAS部署的對話系統服務，通過集成大語言模型（LLM）和檢索增強生成（RAG）技術，克服了LLM在準確性和實時性方面的局限，為多種問答場景提供了準確且信息豐富的響應，從而提升了自然語言處理任務的整體效能和用戶體驗。

前提條件

• 已創建一個專有網絡（VPC）、交換機和安全組。詳情請參見創建和管理專有網絡和創建安全組。

  說明

  使用Faiss作為向量檢索庫時，不需要創建VPC、交換機和安全組。

• 當使用微調模型部署服務時，您需要準備OSS存儲空間（Bucket）或NAS文件系統，用來存放微調的模型文件。具體操作，請參見控制臺快速入門或創建文件系統。

  說明

  如果使用Faiss作為向量檢索庫，您需要準備OSS存儲空間（Bucket），用來存儲上傳的知識庫文件。

注意事項

本實踐受制于LLM服務的最大Token數量限制，旨在幫助您體驗RAG對話系統的基本檢索功能：

• 該對話系統受制于LLM服務的服務器資源大小以及默認Token數量限制，能支持的對話長度有限。

• 如果無需進行多輪對話，建議您在RAG服務的WebUI頁面關閉with chat history功能，這樣能有效減少達到限制的可能性。詳情請參見如何關閉RAG服務的with chat history功能。

步驟一：部署RAG服務

部署大模型RAG對話系統，并綁定向量檢索庫，具體操作步驟如下：

1. 登錄PAI控制臺，在頁面上方選擇目標地域，并在右側選擇目標工作空間，然后單擊進入EAS。

2. 在模型在線服務（EAS）頁面，單擊部署服務，然后在場景化模型部署區域，單擊大模型RAG對話系統部署。

3. 在部署大模型RAG對話系統頁面，配置以下關鍵參數。

   • 基本信息

     參數	描述
     模型來源	支持以下兩種模型來源： 開源公共模型：PAI預置了多種開源公共模型供您選擇，包括Qwen、Llama、ChatGLM、Baichuan、Falcon、Yi、Mistral、Gemma、DeepSpeek等。您可以直接部署相應參數量的模型。 自持微調模型：PAI也支持部署您自行微調后的模型，來滿足特定的場景。
     模型類別	當使用開源公共模型時，您可以根據具體使用場景選擇相應參數量的開源模型。 使用自持微調模型時，您需要根據您微調的模型，選擇相應的模型類別、參數量以及精度。
     模型配置	使用自持微調模型時，您需配置微調模型的文件路徑。后續部署服務時，系統將從該路徑讀取模型配置文件。支持以下兩種配置類型： 說明 建議您在Huggingface的Transformers下運行微調后的模型，確認其輸出結果符合預期后，再考慮將其部署為EAS服務。 對象存儲（OSS）：請選擇微調模型文件所在的OSS存儲路徑。 文件存儲（NAS）：請選擇微調模型文件所在的NAS文件系統、NAS掛載點和NAS源路徑。

   • 資源配置

     參數	描述
     資源配置選擇	在選擇模型類別后，系統將自動匹配適合的資源規格。更換至其他資源規格，可能會導致模型服務啟動失敗。
     推理加速	目前，部署在A10或GU30系列機型上的Qwen、Llama2、ChatGLM或Baichuan2等系列模型服務，支持啟用推理加速功能。支持以下兩種加速類型： PAI-BladeLLM自動推理加速：BladeLLM提供超高性價比的大模型推理加速能力，可幫助您一鍵享受高并發和低延時的技術優勢。 開源框架vllm推理加速

   • 向量檢索庫設置

     RAG支持通過Faiss（Facebook AI Similarity Search）、Elasticsearch、Milvus、Hologres、OpenSearch或RDS PostgreSQL構建向量檢索庫。根據您的場景需要，任意選擇一種版本類型，作為向量檢索庫。

     FAISS

     使用Faiss構建本地向量庫，無需購買線上向量庫產品，免去了線上開通向量庫產品的復雜流程，更輕量易用。

     參數	描述
     版本類型	選擇FAISS。
     OSS地址	選擇當前地域下已創建的OSS存儲路徑，用來存儲上傳的知識庫文件。如果沒有可選的存儲路徑，您可以參考控制臺快速入門進行創建。 說明 如果您選擇使用自持微調模型部署服務，請確保所選的OSS存儲路徑不與自持微調模型所在的路徑重復，以避免造成沖突。

     ElasticSearch

     配置阿里云ElasticSearch實例的連接信息。關于如何創建ElasticSearch實例及準備配置項，請參見準備向量檢索庫Elasticsearch。

     參數	描述
     版本類型	選擇Elasticsearch。
     私網地址/端口	配置Elasticsearch實例的私網地址和端口，格式為http://<私網地址>:<私網端口>。如何獲取Elasticsearch實例的私網地址和端口號，請參見查看實例的基本信息。
     索引名稱	輸入新的索引名稱或已存在的索引名稱。對于已存在的索引名稱，索引結構應符合PAI-RAG要求，例如您可以填寫之前通過EAS部署RAG服務時自動創建的索引。
     賬號	配置創建Elasticsearch實例時配置的登錄名，默認為elastic。
     密碼	配置創建Elasticsearch實例時配置的登錄密碼。如果您忘記了登錄密碼，可重置實例訪問密碼。

     Milvus

     配置Milvus實例的連接信息。關于如何創建Milvus實例及準備配置項，請參見準備向量檢索庫Milvus。

     參數	描述
     版本類型	選擇Milvus。
     訪問地址	配置為Milvus實例內網地址。您可以前往阿里云Milvus控制臺的實例詳情頁面的訪問地址區域進行查看。
     代理端口	配置為Milvus實例的Proxy Port，默認為19530。您可以前往阿里云Milvus控制臺的實例詳情頁面的訪問地址區域進行查看。
     賬號	配置為root。
     密碼	配置為創建Milvus實例時，您自定義的root用戶的密碼。
     數據庫名稱	配置為數據庫名稱，例如default。創建Milvus實例時，系統會默認創建數據庫default，您也可以手動創建新的數據庫，具體操作，請參見管理Databases。
     Collection名稱	輸入新的Collection名稱或已存在的Collection名稱。對于已存在的Collection，Collection結構應符合PAI-RAG要求，例如您可以填寫之前通過EAS部署RAG服務時自動創建的Collection。

     Hologres

     配置為Hologres實例的連接信息。如果未開通Hologres實例，可參考購買Hologres進行操作。

     參數	描述
     版本類型	選擇Hologres。
     調用信息	配置為指定VPC的host信息。進入Hologres管理控制臺的實例詳情頁，在網絡信息區域單擊指定VPC后的復制，獲取域名:80前的host信息。
     數據庫名稱	配置為Hologres實例的數據庫名稱。如何創建數據庫，詳情請參見創建數據庫。
     賬號	配置為已創建的自定義用戶賬號。具體操作，請參見創建自定義用戶，其中選擇成員角色選擇實例超級管理員（SuperUser）。
     密碼	配置為已創建的自定義用戶的密碼。
     表名稱	輸入新的表名稱或已存在的表名稱。對于已存在的表名稱，表結構應符合PAI-RAG要求，例如可以填寫之前通過EAS部署RAG服務自動創建的Hologres表。

     OpenSearch

     配置為OpenSearch向量檢索版實例的連接信息。關于如何創建OpenSearch實例及準備配置項，請參見準備向量檢索庫OpenSearch。

     參數	描述
     版本類型	選擇OpenSearch。
     訪問地址	配置為OpenSearch向量檢索版實例的公網訪問地址。您需要為OpenSearch向量檢索版實例開通公網訪問功能，具體操作，請參見準備向量檢索庫OpenSearch。
     實例id	在OpenSearch向量檢索版實例列表中獲取實例ID。
     用戶名	配置為創建OpenSearch向量檢索版實例時，輸入的用戶名和密碼。
     密碼
     表名稱	配置為準備OpenSearch向量檢索版實例時創建的索引表名稱。如何準備索引表，請參見準備向量檢索庫OpenSearch。

     RDS PostgreSQL

     配置為RDS PostgreSQL實例數據庫的連接信息。關于如何創建RDS PostgreSQL實例及準備配置項，請參見準備向量檢索庫RDS PostgreSQL。

     參數	描述
     版本類型	選擇RDS PostgreSQL。
     主機地址	配置為RDS PostgreSQL實例的內網地址，您可以前往云數據庫RDS PostgreSQL控制臺頁面，在RDS PostgreSQL實例的數據庫連接頁面進行查看。
     端口	默認為5432，請根據實際情況填寫。
     數據庫	配置為已創建的數據庫名稱。如何創建數據庫和賬號，請參見創建賬號和數據庫，其中： 創建賬號時，賬號類型選擇高權限賬號。 創建數據庫時，授權賬號選擇已創建的高權限賬號。
     表名稱	自定義配置數據庫表名稱。
     賬號	配置為已創建的高權限賬號和密碼。如何創建高權限賬號，請參見創建賬號和數據庫，其中賬號類型選擇高權限賬號。
     密碼

   • 專有網絡配置

     參數	描述
     VPC	當選擇Hologres、ElasticSearch、Milvus、OpenSearch或RDS PostgreSQL作為向量檢索庫時，請確保所配置的專有網絡與選定的向量檢索庫保持一致。 說明 使用OpenSearch作為向量檢索庫時，此處可以使用其他專有網絡，但需要確保該專有網絡具有公網訪問能力，并將綁定的彈性公網IP添加為OpenSearch實例的公網訪問白名單。具體操作，請參見使用公網NAT網關SNAT功能訪問互聯網和公網白名單配置。 當選擇Faiss作為向量檢索庫時，無需配置專有網絡。
     交換機
     安全組名稱

4. 單擊部署。

   當服務狀態變為運行中時，表示服務部署成功。

步驟二：通過WebUI頁面進行調試

請按照以下操作步驟，在WebUI頁面上傳企業知識庫文件并對問答效果進行調試。

調試完成后，您可以基于PAI提供的API將其應用到您自己的業務系統中，詳情請參見步驟三：通過API調用進行模型推理。

步驟三：通過API調用進行模型推理

1. 獲取RAG服務的調用信息。

   1. 單擊RAG服務名稱，進入服務詳情頁面。

   2. 在基本信息區域，單擊查看調用信息。

   3. 在調用信息對話框的公網地址調用頁簽，獲取服務訪問地址和Token。

2. 通過WebUI頁面連接向量檢索庫，并上傳企業知識庫文件。

   您還可以根據已生成的符合PAI-RAG格式的表結構，將企業知識庫自行上傳到向量檢索庫中。

3. 通過API調用服務。

   PAI提供了三種調用API的對話方式：service/query/retrieval（Retrieval）、service/query/llm（LLM）和service/query（RAG）。具體調用方法如下：

   cURL 命令

   • 發送單輪對話請求

     • 方式一：service/query/retrieval（Retrieval）

       curl -X 'POST'  '<service_url>service/query/retrieval' -H 'Authorization: <service_token>' -H 'accept: application/json' -H 'Content-Type: application/json'  -d '{"question": "什么是人工智能平臺PAI?"}'
       # <service_url>替換為步驟1獲取的服務訪問地址；<service_token>替換為步驟1獲取的服務Token。

     • 方式二：/service/query/llm（LLM）

       curl -X 'POST'  '<service_url>service/query/llm' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "什么是人工智能平臺PAI?"}'
       # <service_url>替換為步驟1獲取的服務訪問地址；<service_token>替換為步驟1獲取的服務Token。

       支持添加其他可調推理參數，例如{"question":"什么是人工智能平臺PAI?", "temperature": 0.9}。

     • 方式三：service/query（RAG）

       curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "什么是人工智能平臺PAI?"}'
       # <service_url>替換為步驟1獲取的服務訪問地址；<service_token>替換為步驟1獲取的服務Token。

       支持添加其他可調推理參數，例如{"question":"什么是人工智能平臺PAI?", "temperature": 0.9}。

   • 發送多輪對話請求

     其中對話方式RAG和LLM支持發送多輪對話請求，以RAG對話為例，具體配置方法如下：

     # 發送請求。 
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "什么是人工智能平臺PAI?"}'
     
     # 傳入上述請求返回的session_id（對話歷史會話唯一標識），傳入session_id后，將對話歷史進行記錄，調用大模型將自動攜帶存儲的對話歷史。
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "它有什么優勢?","session_id": "ed7a80e2e20442eab****"}'
     
     # 傳入chat_history（用戶與模型的對話歷史），list中的每個元素是形式為{"user":"用戶輸入","bot":"模型輸出"}的一輪對話，多輪對話按時間順序排列。
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"它有哪些功能？", "chat_history": [{"user":"PAI是什么？", "bot":"PAI是阿里云的人工智能平臺......"}]}'
     
     # 同時傳入session_id和chat_history，會用chat_history對存儲的session_id所對應的對話歷史進行追加更新。 
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"它有哪些功能？", "chat_history": [{"user":"PAI是什么？", "bot":"PAI是阿里云的人工智能平臺......"}], "session_id": "1702ffxxad3xxx6fxxx97daf7c"}'

   Python腳本

   • 發送單輪對話請求，代碼示例如下：

     import requests
     
     EAS_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
     headers = {
         'accept': 'application/json',
         'Content-Type': 'application/json',
         'Authorization': 'MDA5NmJkNzkyMGM1Zj****YzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
     }
     
     
     def test_post_api_query_llm():
         url = EAS_URL + '/service/query/llm'
         data = {
            "question":"什么是人工智能平臺PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['answer']} \n\n")
     
     
     def test_post_api_query_retrieval():
         url = EAS_URL + '/service/query/retrieval'
         data = {
            "question":"什么是人工智能平臺PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['docs']}\n\n")
     
     
     def test_post_api_query_rag():
         url = EAS_URL + '/service/query'
         data = {
            "question":"什么是人工智能平臺PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['answer']}")
         print(f"======= Retrieved Docs =======\n {ans['docs']}\n\n")
     # LLM
     test_post_api_query_llm()
     # Retrieval
     test_post_api_query_retrieval()
     # RAG（Retrieval+LLM）
     test_post_api_query_rag()
     

     其中：EAS_URL配置為RAG服務的訪問地址，您需要將訪問地址末尾的/刪除；Authorization配置為RAG服務的Token。

   • 發送多輪對話請求

     LLM和RAG（Retrieval+LLM）支持發送多輪對話請求，代碼示例如下：

     import requests
     
     EAS_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
     headers = {
         'accept': 'application/json',
         'Content-Type': 'application/json',
         'Authorization': 'MDA5NmJkN****jNlMDgzYzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
     }
     
     
     def test_post_api_query_llm_with_chat_history():
         url = EAS_URL + '/service/query/llm'
         # Round 1 query
         data = {
            "question":"什么是人工智能平臺PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"=======Round 1: Question =======\n {data['question']}")
         print(f"=======Round 1: Answer =======\n {ans['answer']} session_id: {ans['session_id']} \n")
        
         # Round 2 query
         data_2 = {
            "question": "它有什么優勢？",
            "session_id": ans['session_id']
         }
         response_2 = requests.post(url, headers=headers, json=data_2)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans_2 = dict(response_2.json())
         print(f"=======Round 2: Question =======\n {data_2['question']}")
         print(f"=======Round 2: Answer =======\n {ans_2['answer']} session_id: {ans_2['session_id']} \n\n")
     
     
     def test_post_api_query_rag_with_chat_history():
         url = EAS_URL + '/service/query'
        
         # Round 1 query
         data = {
            "question":"什么是人工智能平臺PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
     
         print(f"=======Round 1: Question =======\n {data['question']}")
         print(f"=======Round 1: Answer =======\n {ans['answer']} session_id: {ans['session_id']}")
         print(f"=======Round 1: Retrieved Docs =======\n {ans['docs']}\n")
     
         # Round 2 query
         data = {
            "question":"它可以做什么？",
            "session_id": ans['session_id']
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
     
         print(f"=======Round 2: Question =======\n {data['question']}")
         print(f"=======Round 2: Answer =======\n {ans['answer']} session_id: {ans['session_id']}")
         print(f"=======Round 2: Retrieved Docs =======\n {ans['docs']}")
     # LLM
     test_post_api_query_llm_with_chat_history()
     # RAG（Retrieval+LLM）
     test_post_api_query_rag_with_chat_history()
     

     其中：EAS_URL配置為RAG服務的訪問地址，您需要將訪問地址末尾的/刪除；Authorization配置為RAG服務的Token。

相關文檔

通過EAS，您還可以完成以下場景化部署：

• 部署支持WebUI和API調用的LLM大語言模型，并在部署LLM應用后，利用LangChain框架集成企業知識庫，實現智能問答和自動化功能。詳情請參見5分鐘使用EAS一鍵部署LLM大語言模型應用。

• 部署基于ComfyUI和Stable Video Diffusion模型的AI視頻生成服務，幫助您完成社交平臺短視頻內容生成、動畫制作等任務。詳情請參見AI視頻生成-ComfyUI部署。

• 一鍵部署基于Stable Diffusion WebUI的服務。詳情請參見AI繪畫-SDWebUI部署。

常見問題

如何關閉RAG服務的with chat history功能

在RAG服務的WebUI頁面中，去勾選Chat history復選框。