背景信息

ChatGLM-6B是一個對話語言模型，您可以使用EAIS實例來部署ChatGLM-6B，也可以直接在GPU實例上部署。在ECS實例上綁定EAIS實例來部署ChatGLM-6B的方式，相比直接購買GPU實例部署，可以從如下方面節省成本。更多EAIS實例優勢，請參見低成本。

• 節省部署成本：

  在您使用ECS實例（非GPU實例）完成環境搭建之前，您無需創建EAIS實例，此時，僅有ECS實例（非GPU實例）在計費。如果您直接購買GPU實例然后在GPU實例上部署環境，將花費更多的成本用于部署環境。

• 節省使用成本：

  • GPU資源靈活掛載：當您部署好ChatGLM-6B后，如果您暫時不需要執行ChatGLM-6B任務，您可以前往EAIS控制臺解綁并釋放EAIS實例。然后在您需要執行任務時，再重新創建并綁定EAIS實例，此時，您在ECS實例上部署的環境沒有任何影響。因此，您只需要長期擁有一臺相比GPU實例更便宜的ECS實例，然后在需要使用GPU時掛載一臺EAIS實例，該方式可以節省更多成本。

    說明

    使用EAIS控制臺和調用CreateEaisEi創建的EAIS實例，還可以通過停止或啟動EAIS實例來靈活地為ECS實例提供GPU能力。只有啟動EAIS實例時才會計費，停止EAIS實例即可結束計費，因此，還可以節省更多成本。

  • 單價便宜：對比計費單價，使用EAIS實例比相同算力的GPU實例更加便宜。

計費說明

在部署和使用ChatGLM-6B的過程中，涉及的計費內容如下：

• ECS實例需要計費，更多信息，請參見計費概述。

• EAIS實例需要計費，更多信息，請參見產品計費。

環境說明

本教程將以如下EAIS實例與ECS實例為例，為您介紹使用EAIS實例部署ChatGLM-6B。

• ECS實例：

  • 實例規格：ecs.g7.xlarge（4 vCPU、16 GiB內存）

  • 操作系統：Ubuntu 20.04

  • 系統盤容量：100 GiB

• EAIS實例規格：eais.ei-a6.2xlarge

• ECS實例和EAIS實例的地域和可用區：華北2（北京） 可用區I

  說明

  ECS實例與EAIS實例處于同一個可用區時，可以提高推理性能。您可以在EAIS實例規格支持的地域和可用區下創建ECS實例。EAIS實例規格支持的地域和可用區信息，請參見實例規格限制。

步驟一：創建ECS實例

1. 登錄并前往ECS實例創建頁。

2. 創建一臺專有網絡類型的ECS實例，來作為EAIS實例的綁定目標。

   具體操作，請參見實例創建方式介紹。

   創建ECS實例時，您需要注意如下配置項，未提及的配置項您根據實際情況設置即可。

   配置項	配置示例
   付費類型	按量付費
   地域	華北2（北京）
   網絡及可用區	網絡類型：專有網絡 可用區：華北2 可用區I
   實例	ecs.g7.xlarge
   鏡像	選擇公共鏡像，并設置為Ubuntu 20.04 64位
   系統盤	容量設置為100 GiB
   公網IP	選中分配公網IPv4地址

步驟二：在ECS實例上部署ChatGLM-6B環境

1. 遠程連接ECS實例。

   具體操作，請參見在Linux或macOS環境中使用用戶名密碼驗證。

2. 安裝Docker。

   1. 執行如下命令，安裝Docker依賴包。

      apt-get update && \
      apt install -y --no-install-recommends software-properties-common

   2. 執行如下命令，安裝Docker。

      curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | apt-key add -
      add-apt-repository -y \
      "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
      $(lsb_release -cs) \
      stable" && \
      apt-get update && \
      apt-get install -y docker-ce

3. 執行如下命令，下載EAIS提供的ChatGLM-6B鏡像。

   docker pull registry.cn-beijing.aliyuncs.com/eai_beijing/chatglm-6b:v4.2.3

步驟三：創建EAIS實例并綁定至ECS實例

1. 創建EAIS實例。

   具體操作，請參見創建EAIS實例。

   創建EAIS實例時，您需要注意如下配置項，未提及的配置項您根據實際情況設置即可。

   配置項	配置示例
   地域	華北2（北京）
   實例規格	eais.ei-a6.2xlarge

2. 將EAIS實例綁定至步驟一：創建ECS實例創建的ECS實例。

   具體操作，請參見綁定ECS實例。

步驟四：啟動EAIS實例

綁定EAIS實例至ECS實例后，您必須要啟動EAIS實例才能使用EAIS提供的GPU能力，具體操作，請參見啟動EAIS實例。

步驟五：啟動ChatGLM-6B Web服務

1. 遠程連接ECS實例。

   具體操作，請參見在Linux或macOS環境中使用用戶名密碼驗證。

2. 執行如下命令，啟動ChatGLM-6B Web服務。

   docker run --rm -it --net host registry.cn-beijing.aliyuncs.com/eai_beijing/chatglm-6b:v4.2.3

   如果出現如下回顯信息，則成功啟動ChatGLM-6B Web服務。此時，您需要記錄ChatGLM-6B Web服務的端口，默認為7860。

3. 為ECS實例配置安全組規則。

   你需要在您的ECS實例安全組規則中添加7860端口的訪問權限，其中授權對象為您用來訪問ChatGLM-6B Web服務的IP地址或IP地址段。具體操作，請參見添加安全組規則。

4. 在您的本地機器上使用瀏覽器訪問http://ECS實例的公網IP地址:7860，檢查ChatGLM-6B Web服務是否搭建成功。

   如果成功訪問網站，如圖所示，表示您已成功搭建了ChatGLM-6B Web服務。

   說明

   您可以體驗該服務，具體操作，請參見網頁版Demo。

（可選）步驟六：停止EAIS實例

當您暫時不需要EAIS實例提供的GPU能力時，可以停止EAIS實例，從而避免不必要的計費。具體操作，請參見停止EAIS實例。

（可選）步驟七：解綁并釋放EAIS實例

為滿足您業務的靈活性，您可以根據需要解除ECS實例與已綁定的EAIS實例之間的關聯，然后再釋放EAIS實例，從而實現GPU資源的彈性使用。

1. 將EAIS實例從ECS實例上解綁。

   具體操作，請參見解綁ECS實例。

2. 釋放EAIS實例。

   具體操作，請參見釋放EAIS實例。

相關文檔

• 您也可以手動安裝EAIS軟件包來部署ChatGLM-6B，請參見使用EAIS軟件包手動部署ChatGLM-6B。

• 如果您需要通過EAIS實例部署ChatGLM2-6B，請參見使用EAIS實例部署ChatGLM2-6B。

• 如果您需要通過EAIS實例部署Stable-Diffusion，請參見使用EAIS實例部署Stable-Diffusion。