日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

在DLC訓練任務中使用云存儲

在提交DLC訓練任務時,您可以通過代碼配置或掛載的方式配置OSS、NAS、CPFS或MaxCompute存儲,從而方便地在訓練過程中直接讀寫相應存儲中的數據。本文為您介紹如何在DLC訓練任務中進行OSS、MaxCompute、NAS或CPFS的存儲配置。

前提條件

使用OSS存儲

通過掛載方式進行OSS存儲配置

在創建分布式訓練(DLC)任務時,掛載OSS數據。支持以下幾種掛載類型,具體配置方法,請參見創建訓練任務image

掛載類型

描述

自定義數據集

選擇對象存儲OSS類型的數據集。并配置掛載路徑。當執行DLC任務時,系統會按照該路徑來訪問OSS中的數據。

對象存儲(OSS)

選擇OSS Bucket存儲路徑,并配置掛載路徑。當執行DLC任務時,系統會按照該路徑來訪問OSS中的數據。

當前DLC底層使用JindoFuse來掛載OSS。使用DLC的默認配置有功能限制(詳情請參見JindoFuse),并不適合所有的場景。您可以通過調整參數,來適配具體的場景。具體操作步驟如下:

  1. 準備目標場景的代碼文件,詳情請參見JindoFuse

  2. 將代碼文件上傳到OSS Bucket存儲路徑中,詳情請參見控制臺快速入門

    后續在執行DLC任務時,系統會按照上述已配置的掛載路徑,來獲取代碼文件。

通過非掛載方式進行OSS存儲配置

DLC任務支持使用OSS Pytorch Connector或OSS SDK來讀寫OSS數據。您可以在創建訓練任務時,通過代碼配置來配置相關代碼文件。具體代碼示例,請參見OSS Pytorch ConnectorOSS SDKimage

使用NAS/CPFS存儲

通過掛載的方式進行NAS/CPFS存儲配置。您可以在創建分布式訓練(DLC)任務時,綁定NAS/CPFS類型數據集。具體配置方法,請參見NAS使用image

使用MaxCompute存儲

通過非掛載的方式進行MaxCompute存儲配置。您可以在創建訓練任務時,通過代碼配置來配置相關代碼文件。具體代碼示例,請參見MaxCompute使用image