前提條件

• 創建工作空間，詳情請參見創建工作空間。

• 創建DSW實例，其中關鍵參數配置如下。具體操作，請參見創建DSW實例。

  • 地域及可用區：進行本實踐操作時，建議選擇華北2（北京）、華東2（上海）、華東1（杭州）、華南1（深圳）這四個地域。這四個地域在后續操作中下載ChatGLM模型數據時速度更快。

  • 實例規格選擇：ecs.gn6v-c8g1.2xlarge。

  • 鏡像選擇：在官方鏡像中選擇pytorch-develop:1.12-gpu-py39-cu113-ubuntu20.04。

操作步驟

步驟一：在DSW中打開教程文件

1. 進入DSW開發環境。

   1. 登錄PAI控制臺。

   2. 在頁面左上方，選擇DSW實例所在的地域。

   3. 在左側導航欄單擊工作空間列表，在工作空間列表頁面中單擊默認工作空間名稱，進入對應工作空間內。

   4. 在左側導航欄，選擇模型開發與訓練>交互式建模（DSW）。

   5. 單擊需要打開的實例操作列下的打開，進入DSW實例開發環境。

2. 在Notebook頁簽的Launcher頁面，單擊快速開始區域Tool下的DSW Gallery，打開DSW Gallery頁面。

   

3. 在DSW Gallery頁面中，搜索輕量微調和推理ChatGLM模型實踐，單擊在DSW中打開，即可自動將本教程所需的資源和教程文件下載至DSW實例中，并在下載完成后自動打開教程文件。

   

步驟二：運行教程文件

在打開的教程文件chatglm_6b_ipynb中，您可以查看教程內容以及直接運行教程。

在教程文件中單擊運行對應步驟的命令，當成功運行結束一個步驟命令后，再順次運行下個步驟的命令。

本教程包括以下4個運行步驟：

1. 下載ChatGLM-6B模型和相關數據

   • 由于ChatGLM數據較大，下載耗時與您所在的地域與網絡環境有關，請耐心等待下載完成。

   • 如果運行后未出現正常返回結果，并出現類似404 Not Found的錯誤，請嘗試重新運行下載命令。

2. 微調模型

   模型訓練過程有量化過程，訓練時間可能會比較久，請您耐心等待訓練完成。

3. 模型推理

   您如果自行安裝推理ChatGLM模型時，執行模型推理前需先檢查推理執行腳本evaluate.sh中的CHECKPOINT參數，確保CHECKPOINT參數取值是訓練保存的路徑名稱。

4. 試玩模型

   1. 執行命令后，在返回結果中單擊生成的URL，即可進入WebUI頁面。

      說明

      該URL為內網訪問地址，僅支持在當前的DSW實例內部通過單擊鏈接來訪問WebUI頁面，不支持通過外部瀏覽器直接訪問。

   2. 在WebUI頁面，輸入文本內容，單擊Generate，進行模型推理驗證。例如：