使用OSS Connector for AI/ML實現(xiàn)在PyTorch訓練任務(wù)中訪問和存儲OSS數(shù)據(jù)
OSS Connector for AI/ML是一個用于在PyTorch訓練任務(wù)中高效訪問和存儲OSS數(shù)據(jù)的Python庫。
功能優(yōu)勢
對比項 | 不使用OSS Connector for AI/ML | 使用OSS Connector for AI/ML |
性能 | 手動優(yōu)化性能，效率可能低下 | 自動優(yōu)化OSS數(shù)據(jù)下載及檢查點保存性能 |
數(shù)據(jù)加載方式 | 需提前下載數(shù)據(jù)，增加成本和管理負擔 | 支持流式加載，降低成本和管理復(fù)雜度 |
數(shù)據(jù)訪問 | 通過轉(zhuǎn)接器讀寫，增加復(fù)雜度 | 直接從OSS讀寫，簡化流程 |
配置難度 | 需編寫復(fù)雜代碼管理，配置困難 | 提供簡單配置，提高開發(fā)效率 |
工作原理
通過OSS Connector for AI/ML使用OSS中的數(shù)據(jù)進行PyTorch訓練的過程如下圖所示：
功能特性
OSS Connector for AI/ML主要功能如下表所示：
功能點 | 特性 | 關(guān)聯(lián)類 | 方法 |
映射式數(shù)據(jù)集 | 適合隨機訪問，方便在訓練過程中快速獲取特定數(shù)據(jù)。 | OssMapDataset與OssIterableDataset所提供方法相同，如下所示：
| |
可迭代式數(shù)據(jù)集 | 適合流式順序訪問，能夠高效地處理大量連續(xù)的數(shù)據(jù)流。 | ||
檢查點接口 | 在模型訓練時從OSS中加載檢查點，并且在周期性模型訓練結(jié)束后可以直接將檢查點保存至OSS。簡化了工作流程。 |
|
使用流程
在PyTorch訓練任務(wù)中訪問和存儲OSS中的數(shù)據(jù)之前，您需要安裝并配置OSS Connector for AI/ML。具體操作，請參見安裝OSS Connector for AI/ML和配置OSS Connector for AI/ML。
安裝并配置OSS Connector for AI/ML后，您可以在Pytorch訓練任務(wù)中：
使用OssMapDataset構(gòu)建適用于隨機讀取操作的映射式數(shù)據(jù)集。具體操作，請參見使用OSS中的數(shù)據(jù)構(gòu)建適用于隨機讀取的映射式數(shù)據(jù)集。
使用OssIterableDataset構(gòu)建適用于流式順序訪問的可迭代式數(shù)據(jù)集。具體操作，請參見使用OSS中的數(shù)據(jù)構(gòu)建適用于流式順序讀取的迭代式數(shù)據(jù)集。
使用OssCheckpoint存儲和訪問檢查點。具體操作，請參見在OSS中存儲和訪問檢查點。
- 說明
OssMapDataset、OssIterableDataset、OssCheckpoint中的數(shù)據(jù)具有相同的類型，如需了解支持的屬性和方法，請參見OSS Connector for AI/ML中的數(shù)據(jù)類型。
實踐教程
如果您想快速學習如何在PyTorch中使用OSS數(shù)據(jù)進行模型訓練，并將訓練結(jié)果保存至OSS，我們?yōu)槟峁┝艘粋€使用OSS Connector for AI/ML完成手寫數(shù)字識別模型訓練的Demo。詳情請參見OSS Connector for AI/ML快速入門。
如果您需要進一步提升OSS Connector for AI/ML的性能，建議您使用OSS加速器域名而不是默認的OSS內(nèi)網(wǎng)域名。關(guān)于使用OSS內(nèi)網(wǎng)域名與OSS加速器域名之間的OSS Connector for AI/ML性能對比，請參見性能測試。
如果您要在容器環(huán)境中使用OSS Connector for AI/ML，您可以使用含有OSS Connector for AI/ML的Docker鏡像。如何構(gòu)建鏡像，請參見構(gòu)建含有OSS Connector for AI/ML環(huán)境的Docker鏡像。