DLC是一站式的云原生深度學習訓練平臺,為開發者和企業提供靈活、穩定、易用和高性能的機器學習訓練環境。本文為您介紹如何在DLC中使用mpirun和Deepspeed方式來提交MPIJob類型的分布式訓練任務。
前提條件
已開通DLC后付費,并創建默認工作空間。具體操作,請參見開通PAI并創建默認工作空間。
已在資源組中購買靈駿智算資源并創建資源配額。具體操作,請參見靈駿智算資源配額。
使用限制
僅支持在華北6(烏蘭察布)地域使用靈駿智算資源提交該任務。
提交MPIJob類型的訓練任務
提交分布式訓練任務的具體操作步驟如下:
步驟一:準備代碼源
使用官方Deepspeed examples代碼合集創建代碼集,其中關鍵參數配置如下,其他參數取默認配置。具體操作,請參見代碼配置。
名稱:自定義代碼集名稱,本方案示例為:deepspeed-examples。
步驟二:提交分布式訓練任務
支持使用以下兩種方式提交分布式訓練任務:
mpirun方式
進入新建任務頁面。
登錄PAI控制臺。
在左側導航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進入對應工作空間內。
在工作空間頁面的左側導航欄選擇 ,在分布式訓練(DLC)頁面中單擊新建任務,進入新建任務頁面。
在新建任務頁面,配置以下關鍵參數,更多參數配置詳情,請參見創建訓練任務。
節點鏡像:本方案提供了一個測試鏡像,單擊鏡像地址,在文本框中輸入
registry.cn-wulanchabu.aliyuncs.com/pai-dlc/deepspeed-training:23.08-gpu-py310-cu122-ubuntu22.04
,用于提交MPIJob分布式訓練任務。啟動命令:在分布式作業的每個POD中執行的腳本命令。本方案使用系統環境變量的默認配置,您也可以在執行命令中配置環境變量來覆蓋默認配置。更多詳細內容,請參見系統環境變量。
cd /root/code/DeepSpeedExamples/training/cifar/ # --np 2 表示啟動兩個節點。 mpirun -np 2 --allow-run-as-root -bind-to none -map-by slot -x LD_LIBRARY_PATH -x PATH -mca pml ob1 -mca btl ^openib python /root/code/DeepSpeedExamples/training/cifar/cifar10_tutorial.py
資源配額:選擇已創建的資源配額。
框架:選擇MPIJob。
任務資源:節點數量配置為2,CPU(核數)配置為4,GPU(卡數)配置為1,內存(GiB)配置為8,共享內存(GiB)配置為8。
驅動設置:使用上方提供的測試鏡像時,建議選擇535.54.03版本的驅動。
單擊確定。
deepspeed(pdsh)方式
使用該方式提交分布式訓練任務,啟動命令的配置如下,其他參數與mpirun方式配置相同。
cd /root/code/DeepSpeedExamples/training/pipeline_parallelism
deepspeed --hostfile /etc/mpi/hostfile train.py --deepspeed_config=ds_config.json -p 2 --steps=200
如果您使用自定義鏡像來運行Deepspeed作業,您需要在鏡像中安裝MPIJob和Deepspeed所需的庫。另外,您也可以從DockerHub上獲取Deepspeed官方鏡像,該鏡像已經預裝了MPIJob和Deepspeed所需的庫。
本方案使用系統環境變量的默認配置,您也可以在啟動命令中配置環境變量來覆蓋默認配置。更多詳細內容,請參見系統環境變量。
步驟三:查看任務詳情和日志結果
任務提交成功后,在分布式訓練(DLC)頁面,單擊任務的名稱。
在任務詳情頁面,即可查看任務的基本信息和執行狀態。
在任務詳情頁面底部的實例區域,單擊launcher類型的實例操作列下的日志,查看作業運行情況。
系統環境變量
在MPI分布式作業中,存在Launcher和Worker兩種角色。這兩種角色在訓練過程中需要進行通信。在DLC中,針對Launcher角色已經設置了默認環境變量,您也可以根據具體場景的需求,在執行命令時配置環境變量以覆蓋默認配置。
環境變量 | 描述 | 默認值 | 適用場景 |
OMPI_MCA_btl_tcp_if_include | 為Launcher和Worker指定通信的網卡,多個網卡之間使用半角逗號(,)分隔。 | eth0 | 適用于使用mpirun方式啟動作業。 |
OMPI_MCA_orte_default_hostfile | 為mpirun命令指定hostfile,在PAI-DLC中可以自動生成hostfile,無需手動修改。 |
| |
OMPI_MCA_plm_rsh_agent | 為Launcher指定如何遠程啟動Worker任務。 |
| |
PDSH_RCMD_TYPE | PDSH的遠程命令類型。 | ssh | 適用于使用DeepSpeed方式啟動作業。 |