您可以在OSS存儲(chǔ)訓(xùn)練數(shù)據(jù)或模型：

• 加載訓(xùn)練數(shù)據(jù)

  您可以將數(shù)據(jù)存放在一個(gè)OSS Bucket中，且將數(shù)據(jù)路徑和對(duì)應(yīng)的Label存儲(chǔ)在同一個(gè)OSS Bucket的索引文件中。通過(guò)自定義DataSet，在PyTorch中使用DataLoader API多進(jìn)程并行讀取數(shù)據(jù)，示例如下。

  import io
  import oss2
  import PIL
  import torch
  class OSSDataset(torch.utils.data.dataset.Dataset):
      def __init__(self, endpoint, bucket, auth, index_file):
          self._bucket = oss2.Bucket(auth, endpoint, bucket)
          self._indices = self._bucket.get_object(index_file).read().split(',')
      def __len__(self):
          return len(self._indices)
      def __getitem__(self, index):
          img_path, label = self._indices(index).strip().split(':')
          img_str = self._bucket.get_object(img_path)
          img_buf = io.BytesIO()
          img_buf.write(img_str.read())
          img_buf.seek(0)
          img = Image.open(img_buf).convert('RGB')
          img_buf.close()
          return img, label
  dataset = OSSDataset(endpoint, bucket, auth, index_file)
  data_loader = torch.utils.data.DataLoader(
      dataset,
      batch_size=batch_size,
      num_workers=num_loaders,
      pin_memory=True)

  其中endpoint為OSS域名，bucket為Bucket名稱(chēng)，auth為鑒權(quán)對(duì)象，index_file為索引文件的路徑，都需要根據(jù)實(shí)際情況修改。

  說(shuō)明

  示例中，索引文件格式為每條樣本使用英文逗號(hào)（,）分隔，樣本路徑與Label之間使用英文冒號(hào)（:）分隔。

• Save或Load模型

  您可以使用OSS2 Python API Save或Load PyTorch模型（關(guān)于PyTorch如何Save或Load模型，詳情請(qǐng)參見(jiàn)PyTorch），示例如下：

  • Save模型

    from io import BytesIO
    import torch
    import oss2
    # bucket_name
    bucket_name = "<your_bucket_name>"
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    buffer = BytesIO()
    torch.save(model.state_dict(), buffer)
    bucket.put_object("<your_model_path>", buffer.getvalue())

    其中endpoint為OSS域名，<your_bucket_name>為OSS Bucket名稱(chēng)，且開(kāi)頭不帶oss://，auth為鑒權(quán)對(duì)象，<your_model_path>為模型路徑，都需要根據(jù)實(shí)際情況修改。

  • Load模型

    from io import BytesIO
    import torch
    import oss2
    bucket_name = "<your_bucket_name>"
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    buffer = BytesIO(bucket.get_object("<your_model_path>").read())
    model.load_state_dict(torch.load(buffer))

    其中endpoint為OSS域名，<your_bucket_name>為OSS Bucket名稱(chēng)，且開(kāi)頭不帶oss://，auth為鑒權(quán)對(duì)象，<your_model_path>為模型路徑，都需要根據(jù)實(shí)際情況修改。