在提交DLC訓練任務時,您可以通過代碼配置或掛載的方式配置OSS、NAS、CPFS或MaxCompute存儲,從而方便地在訓練過程中直接讀寫相應存儲中的數據。本文為您介紹如何在DLC訓練任務中進行OSS、MaxCompute、NAS或CPFS的存儲配置。
前提條件
已開通PAI(DLC)并創建工作空間。具體操作,請參見開通PAI并創建默認工作空間。
(可選)配置OSS數據存儲時,需要完成以下準備工作:
(可選)配置NAS數據存儲時:需要創建通用型NAS文件系統,詳情請參見創建文件系統。
(可選)配置MaxCompute存儲時:需要開通MaxCompute并創建MaxCompute項目,詳情請參見開通MaxCompute和創建MaxCompute項目。
使用OSS存儲
通過掛載方式進行OSS存儲配置
在創建分布式訓練(DLC)任務時,掛載OSS數據。支持以下幾種掛載類型,具體配置方法,請參見創建訓練任務。
掛載類型 | 描述 |
自定義數據集 | 選擇對象存儲OSS類型的數據集。并配置掛載路徑。當執行DLC任務時,系統會按照該路徑來訪問OSS中的數據。 |
對象存儲(OSS) | 選擇OSS Bucket存儲路徑,并配置掛載路徑。當執行DLC任務時,系統會按照該路徑來訪問OSS中的數據。 |
當前DLC底層使用JindoFuse來掛載OSS。使用DLC的默認配置有功能限制(詳情請參見JindoFuse),并不適合所有的場景。您可以通過調整參數,來適配具體的場景。具體操作步驟如下:
準備目標場景的代碼文件,詳情請參見JindoFuse。
將代碼文件上傳到OSS Bucket存儲路徑中,詳情請參見控制臺快速入門。
后續在執行DLC任務時,系統會按照上述已配置的掛載路徑,來獲取代碼文件。
通過非掛載方式進行OSS存儲配置
DLC任務支持使用OSS Pytorch Connector或OSS SDK來讀寫OSS數據。您可以在創建訓練任務時,通過代碼配置來配置相關代碼文件。具體代碼示例,請參見OSS Pytorch Connector或OSS SDK。
使用NAS/CPFS存儲
通過掛載的方式進行NAS/CPFS存儲配置。您可以在創建分布式訓練(DLC)任務時,綁定NAS/CPFS類型數據集。具體配置方法,請參見NAS使用。
使用MaxCompute存儲
通過非掛載的方式進行MaxCompute存儲配置。您可以在創建訓練任務時,通過代碼配置來配置相關代碼文件。具體代碼示例,請參見MaxCompute使用。