費(fèi)用說(shuō)明

創(chuàng)建一站式企業(yè)專屬Chatbot社區(qū)版（大模型+向量數(shù)據(jù)庫(kù)）服務(wù)時(shí)，系統(tǒng)會(huì)自動(dòng)創(chuàng)建ECS實(shí)例以及AnalyticDB PostgreSQL版存儲(chǔ)彈性模式實(shí)例，以上實(shí)例資源會(huì)產(chǎn)生費(fèi)用，關(guān)于費(fèi)用信息的具體說(shuō)明請(qǐng)參見以下計(jì)費(fèi)文檔：

• 計(jì)算巢計(jì)費(fèi)文檔

• ECS計(jì)費(fèi)文檔

• AnalyticDB PostgreSQL版計(jì)費(fèi)文檔

產(chǎn)品優(yōu)勢(shì)

• 支持多模型：支持通義千問(wèn)-7b、ChatGLM-6b、Llama2-7b 、Llama2-13b、百川-13b和Falcon-7b等模型，支持創(chuàng)建后切換模型。

• 支持GPU的集群管理：在測(cè)試的過(guò)程中可以使用低水位的GPU實(shí)例，隨著業(yè)務(wù)的增長(zhǎng)，可以設(shè)置基于資源使用情況的動(dòng)態(tài)GPU集群彈性管理，最大程度地節(jié)省GPU的開銷。

• 基于AnalyticDB PostgreSQL完整數(shù)據(jù)庫(kù)能力進(jìn)行精細(xì)化的權(quán)限設(shè)計(jì)：可以基于開源代碼調(diào)整權(quán)限查詢，同時(shí)支持AnalyticDB PostgreSQL的知識(shí)庫(kù)管理配套相關(guān)API，可以更靈活地調(diào)用。

• API與WebUI均可用：可快速實(shí)現(xiàn)AIGC后臺(tái)面向應(yīng)用的靈活集成。

• 數(shù)據(jù)安全：所有數(shù)據(jù)、算法和GPU資源均為域內(nèi)資源，無(wú)任何數(shù)據(jù)出域風(fēng)險(xiǎn)，充分保障企業(yè)核心數(shù)據(jù)無(wú)泄露隱患。

RAM用戶授權(quán)

如果您使用RAM用戶進(jìn)行以下操作，需要提前對(duì)RAM用戶進(jìn)行授權(quán)，關(guān)于計(jì)算巢所需的RAM權(quán)限以及如何設(shè)置RAM授權(quán)，請(qǐng)參見為用戶側(cè)RAM用戶（子賬號(hào)）授權(quán)。

創(chuàng)建服務(wù)實(shí)例

1. 進(jìn)入創(chuàng)建服務(wù)實(shí)例頁(yè)面。

2. 在創(chuàng)建服務(wù)實(shí)例頁(yè)面，配置以下信息。

   類型	參數(shù)	說(shuō)明
   選擇模板		選擇PAI-EAS模板。
   服務(wù)實(shí)例名稱		設(shè)置服務(wù)實(shí)例的名稱，系統(tǒng)會(huì)隨機(jī)生成一個(gè)名稱，建議配置具有業(yè)務(wù)意義的名稱，便于后續(xù)識(shí)別。
   地域		服務(wù)實(shí)例、ECS實(shí)例以及AnalyticDB PostgreSQL版實(shí)例所在地域。
   付費(fèi)類型配置	付費(fèi)類型	根據(jù)需求選擇按量付費(fèi)或包年包月。 本文以按量付費(fèi)的付費(fèi)類型為例。
   ECS配置	實(shí)例類型	選擇ECS實(shí)例的規(guī)格。
   	實(shí)例密碼	ECS實(shí)例的登錄密碼。
   	白名單設(shè)置	ECS實(shí)例的白名單。 建議您將需要訪問(wèn)大模型的服務(wù)器的IP地址加入白名單。
   PAI-EAS模型配置	選擇大模型	選擇預(yù)配置的大模型。
   	PAI實(shí)例規(guī)格	可選擇PAI服務(wù)的GPU規(guī)格，若無(wú)庫(kù)存則無(wú)法選中。
   AnalyticDB PostgreSQL	實(shí)例規(guī)格	AnalyticDB PostgreSQL版實(shí)例的計(jì)算節(jié)點(diǎn)規(guī)格。
   	Segment存儲(chǔ)大小	AnalyticDB PostgreSQL版實(shí)例的計(jì)算節(jié)點(diǎn)存儲(chǔ)空間大小，單位為GB。
   	數(shù)據(jù)庫(kù)賬號(hào)名稱	AnalyticDB PostgreSQL版實(shí)例的初始賬號(hào)名稱。
   	數(shù)據(jù)庫(kù)密碼	AnalyticDB PostgreSQL版實(shí)例的初始賬號(hào)密碼。
   應(yīng)用配置	軟件登錄名	大模型軟件的登錄名稱，用于登錄langchain Web服務(wù)。
   	軟件登錄密碼	大模型軟件的登錄密碼。
   可用區(qū)配置	交換機(jī)可用區(qū)	選擇服務(wù)實(shí)例所在的可用區(qū)。
   選擇網(wǎng)絡(luò)配置	是否新建VPC	您可以選擇新建VPC也可以使用已有VPC，本文以新建VPC為例。
   	專有網(wǎng)絡(luò)IPv4網(wǎng)段	輸入VPC的IP地址段。
   	交換機(jī)子網(wǎng)網(wǎng)段	輸入虛擬交換機(jī)的IP地址段。
   標(biāo)簽和資源組	標(biāo)簽	選擇服務(wù)實(shí)例需要綁定的標(biāo)簽。
   	資源組	選擇服務(wù)實(shí)例所屬的資源組，相關(guān)介紹，請(qǐng)參見什么是資源管理。

3. 單擊下一步：確定訂單。

4. 檢查依賴檢查、服務(wù)實(shí)例信息與價(jià)格預(yù)覽區(qū)域，確認(rèn)無(wú)誤后再進(jìn)行后續(xù)操作。

   說(shuō)明

   如果依賴檢查中存在部分角色權(quán)限未開通，單擊右側(cè)立即開通進(jìn)行開通。完成開通后，請(qǐng)單擊該區(qū)域的刷新按鈕。

5. 選中我已閱讀并同意《計(jì)算巢服務(wù)協(xié)議》，單擊立即創(chuàng)建。

6. 系統(tǒng)提示提交成功后，單擊去列表查看。

創(chuàng)建服務(wù)實(shí)例耗時(shí)約為10分鐘左右，您可以在服務(wù)實(shí)例管理頁(yè)面，查看服務(wù)實(shí)例的狀態(tài)，當(dāng)狀態(tài)由部署中變?yōu)?b data-tag="uicontrol" id="3c012e3005xds" class="uicontrol">已部署表示已完成創(chuàng)建。

使用ChatBot

使用ChatBot前，您需要將知識(shí)問(wèn)答相關(guān)的文件上傳到知識(shí)庫(kù)中，以下步驟將指導(dǎo)您如何上傳文件以及使用ChatBot。

1. 在計(jì)算巢控制臺(tái)的服務(wù)實(shí)例管理頁(yè)面，單擊目標(biāo)服務(wù)實(shí)例ID，進(jìn)入服務(wù)實(shí)例詳情頁(yè)面。

2. 在服務(wù)實(shí)例詳情頁(yè)的實(shí)例信息區(qū)域，單擊Endpoint右側(cè)的鏈接。

3. 在彈出的登錄對(duì)話框中，輸出創(chuàng)建服務(wù)實(shí)例時(shí)設(shè)置的軟件登錄名和軟件登錄密碼，然后單擊登錄。

4. 在頁(yè)面右上方的請(qǐng)選擇使用模式區(qū)域，選擇知識(shí)庫(kù)問(wèn)答。

5. 在頁(yè)面右側(cè)配置知識(shí)庫(kù)區(qū)域，在請(qǐng)選擇要加載的知識(shí)庫(kù)項(xiàng)目下選擇新建知識(shí)庫(kù)，并輸入新建知識(shí)庫(kù)的名稱，單擊添加至知識(shí)庫(kù)選項(xiàng)。

6. 設(shè)置文本入庫(kù)分句長(zhǎng)度限制，您可以根據(jù)需求進(jìn)行設(shè)置，此處推薦設(shè)置為500。

7. 在新建知識(shí)庫(kù)中添加文件。

   • 上傳方式支持上傳文件、上傳文件和URL以及上傳文件夾。

   • 上傳的文件支持PDF、 markdown，txt，word等格式。

   • 如需刪除文件，可以在刪除文件界面進(jìn)行刪除。

8. 上傳完成后，您可以在頁(yè)面左下方提問(wèn)內(nèi)容，單擊提交進(jìn)行問(wèn)答。

資源管理

常見問(wèn)題

• Q：如何使用向量檢索相關(guān)API？

  A：請(qǐng)參見Java。

• Q：如何查看服務(wù)實(shí)例部署進(jìn)度？

  A：創(chuàng)建服務(wù)實(shí)例后，會(huì)在10分鐘左右完成計(jì)算巢服務(wù)的創(chuàng)建（包括初始化ECS和AnalyticDB PostgreSQL向量數(shù)據(jù)庫(kù)），同時(shí)會(huì)異步進(jìn)行LLM大模型的下載，此過(guò)程需要花費(fèi)大概30~60分鐘。如需查看模型下載進(jìn)度，可登錄ECS，查詢下載日志。LLM大模型下載完成后，登錄Web界面即可查看相關(guān)的Chatbot應(yīng)用。

• Q：創(chuàng)建計(jì)算巢服務(wù)后， 如何登錄ECS？

  A：您可以在服務(wù)實(shí)例的資源頁(yè)簽，找到資源類型為安全組 securitygroup的資源，單擊目標(biāo)資源的資源ID。在ECS實(shí)例的基本信息頁(yè)面，單擊遠(yuǎn)程連接。更多連接方式，請(qǐng)參見連接實(shí)例。

• Q：如何重啟Langchain服務(wù)？

  A：可以登錄ECS執(zhí)行如下命令進(jìn)行重啟。

  systemctl restart langchain-chatglm

• Q：如何查詢langchain日志？

  A：可以登錄ECS執(zhí)行如下命令進(jìn)行查看。

  journalctl -ef -u langchain-chatglm

• Q：服務(wù)完成后模型加載不成功？

  A：開通服務(wù)后，系統(tǒng)會(huì)從huggingface上下載LLM模型到本地。國(guó)內(nèi)地域下載服務(wù)時(shí)間可能較長(zhǎng)，需要等待30~60分鐘，請(qǐng)等待完成后再登錄界面，選擇重新加載模型進(jìn)行重試。

• Q：如何查看部署代碼的詳細(xì)信息？

  A：請(qǐng)參見langchain-ChatGLM文檔。

• Q：如何申請(qǐng)產(chǎn)品團(tuán)隊(duì)進(jìn)行服務(wù)后臺(tái)支持？

  A：可以開通一站式企業(yè)專屬Chatbot運(yùn)維服務(wù)進(jìn)行服務(wù)支持。

• Q：為什么訪問(wèn)服務(wù)是空白頁(yè)？

  A：該服務(wù)是中國(guó)站的計(jì)算巢服務(wù)，所以如果有海外訪問(wèn)代理的話可能會(huì)出現(xiàn)問(wèn)題，需要關(guān)閉代理然后進(jìn)行訪問(wèn)創(chuàng)建。

• Q：Langchain部署在ECS什么地方？

  A：Langchain部署在/home/admin/langchain-ChatGLM路徑下。

• Q：如何開通Langchain API？

  A：請(qǐng)?jiān)贓CS上執(zhí)行命令進(jìn)行開通。

  #新建langchain-chatglm-api的systemd文件
  cp /lib/systemd/system/langchain-chatglm.service /lib/systemd/system/langchain-chatglm-api.service
  #修改/lib/systemd/system/langchain-chatglm-api.service中ExecStart
  #PAI-EAS版
  ExecStart=/usr/bin/python3.9 /home/langchain/langchain-ChatGLM/api.py
  #GPU單機(jī)版
  ExecStart=/usr/bin/python3.9 /home/admin/langchain-ChatGLM/api.py
  #重新加載systemd
  systemctl daemon-reload
  #啟動(dòng)API
  systemctl restart langchain-chatglm-api
  # 然后啟動(dòng)日志看到這個(gè)就啟動(dòng)成功：
  INFO:     Uvicorn running on http://0.0.0.0:7861 (Press CTRL+C to quit)
  # 查看所有的api：
  curl http://0.0.0.0:7861/openapi.json

更多問(wèn)題，您可以加入釘釘群（釘釘群號(hào)：32960015260）進(jìn)行咨詢。