日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

使用NAS提交單機(jī)PyTorch遷移學(xué)習(xí)任務(wù)

本文介紹如何使用DLC、DSW和NAS,基于PyTorch進(jìn)行離線遷移訓(xùn)練。

前提條件

選擇合適的地域,創(chuàng)建通用型NAS文件系統(tǒng),詳情請參見通過控制臺創(chuàng)建通用型NAS文件系統(tǒng)

使用限制

本文的操作僅支持通用計算資源公共資源組的工作集群。

步驟一:創(chuàng)建數(shù)據(jù)集

  1. 進(jìn)入數(shù)據(jù)集管理頁面。

    1. 登錄PAI控制臺

    2. 在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進(jìn)入對應(yīng)的工作空間。

    3. 在左側(cè)導(dǎo)航欄,選擇AI資產(chǎn)管理 > 數(shù)據(jù)集

  2. 數(shù)據(jù)集管理頁面,單擊創(chuàng)建數(shù)據(jù)集

  3. 創(chuàng)建數(shù)據(jù)集頁面,配置如下參數(shù)。

    參數(shù)

    描述

    名稱

    數(shù)據(jù)名稱。

    描述

    數(shù)據(jù)的描述信息,便于區(qū)分不同的數(shù)據(jù)。

    選擇數(shù)據(jù)存儲

    選擇阿里云文件存儲(通用型NAS)

    選擇文件系統(tǒng)

    配置為已創(chuàng)建的NAS文件系統(tǒng)的ID。您可以登錄NAS控制臺,在對應(yīng)的地域,查看NAS文件系統(tǒng)ID。也可從下拉列表中查看擁有的NAS文件系統(tǒng)ID。

    文件系統(tǒng)路徑

    掛載的NAS具體的路徑。配置為/

    默認(rèn)掛載路徑

    掛載的NAS在任務(wù)中的路徑,配置為/mnt/data/

    重要

    地域必須與DSW實(shí)例的地域、數(shù)據(jù)和代碼的存儲地域一致。

  4. 單擊提交

步驟二:創(chuàng)建DSW實(shí)例

創(chuàng)建DSW實(shí)例時,您需要在數(shù)據(jù)集區(qū)域單擊添加,選擇步驟一創(chuàng)建的NAS類型數(shù)據(jù)集,并將掛載路徑配置為/mnt/data/,工作目錄選擇數(shù)據(jù)集-/mnt/data/

其他參數(shù)配置詳情,請參見創(chuàng)建DSW實(shí)例

image

步驟三:準(zhǔn)備數(shù)據(jù)

本文使用的數(shù)據(jù)已經(jīng)存放在公開地址,您可以直接下載(下載數(shù)據(jù)),解壓后即可使用。

  1. 進(jìn)入DSW開發(fā)環(huán)境。

    1. 登錄PAI控制臺

    2. 在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進(jìn)入對應(yīng)工作空間內(nèi)。

    3. 在頁面左上方,選擇使用服務(wù)的地域。

    4. 在左側(cè)導(dǎo)航欄,選擇模型開發(fā)與訓(xùn)練 > 交互式建模(DSW)

    5. 可選:交互式建模(DSW)頁面的搜索框,輸入實(shí)例名稱或關(guān)鍵字,搜索實(shí)例。

    6. 單擊需要打開的實(shí)例操作列下的打開

  2. DSW開發(fā)環(huán)境的頂部菜單欄,單擊Notebook頁簽。

  3. 下載數(shù)據(jù)。

    1. 單擊左上方工具欄中的創(chuàng)建文件夾圖標(biāo),創(chuàng)建文件夾(例如pytorch_transfer_learning)。

    2. DSW開發(fā)環(huán)境的頂部菜單欄,單擊Terminal頁簽,即可打開Terminal。

    3. 在Terminal中,使用cd命令進(jìn)入已創(chuàng)建的文件夾,并通過wget命令下載數(shù)據(jù)集,如下圖所示。

      cd /mnt/workspace/pytorch_transfer_learning/
      wget https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/data.tar.gz

      其中https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/data.tar.gz表示數(shù)據(jù)集地址,即從該地址下載數(shù)據(jù)集。

      image

    4. 使用tar -xf ./data.tar.gz命令解壓數(shù)據(jù)集。

    5. 切換到Notebook頁簽,在左側(cè)目錄樹,進(jìn)入目錄pytorch_transfer_learning中,右鍵單擊已解壓的數(shù)據(jù)文件夾(hymenoptera_data),在快捷菜單中,單擊Rename將該文件重命名為input,以便后續(xù)操作。

步驟四:準(zhǔn)備訓(xùn)練代碼和模型存儲文件夾

  1. DSW實(shí)例的Terminal中,使用wget命令將訓(xùn)練代碼下載到pytorch_transfer_learning文件夾下。

    cd /mnt/workspace/pytorch_transfer_learning/
    wget https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/main.py

    其中https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/main.py表示訓(xùn)練代碼存儲地址。

  2. pytorch_transfer_learning文件夾下,創(chuàng)建名為output的文件夾,用于存儲訓(xùn)練完成的模型。

    mkdir output
  3. 查看pytorch_transfer_learning文件夾的內(nèi)容。

    文件夾下包括如下文件:

    • input:訓(xùn)練數(shù)據(jù)文件夾。

    • main.py:訓(xùn)練代碼。

    • output:模型存儲文件夾。

    最終的文件夾內(nèi)容

步驟五:創(chuàng)建任務(wù)

  1. 進(jìn)入新建任務(wù)頁面。

    1. 登錄PAI控制臺

    2. 在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁面中單擊待操作的工作空間名稱,進(jìn)入對應(yīng)工作空間內(nèi)。

    3. 在工作空間頁面的左側(cè)導(dǎo)航欄選擇模型開發(fā)與訓(xùn)練 > 分布式訓(xùn)練(DLC),在分布式訓(xùn)練(DLC)頁面中單擊新建任務(wù),進(jìn)入新建任務(wù)頁面。

  2. 新建任務(wù)頁面,配置如下參數(shù)。

    區(qū)域

    參數(shù)

    描述

    基本信息

    任務(wù)名稱

    深度學(xué)習(xí)訓(xùn)練的任務(wù)名稱。

    節(jié)點(diǎn)鏡像

    選擇官方鏡像 ,并在下面列表中選擇PyTorch鏡像。例如:選擇pytorch-training:1.12pai-gpu-py38-cu113-ubuntu20.04

    數(shù)據(jù)集配置

    選擇步驟一創(chuàng)建的NAS類型數(shù)據(jù)集。

    代碼配置

    無需配置。

    啟動命令

    配置為python /mnt/data/pytorch_transfer_learning/main.py -i /mnt/data/pytorch_transfer_learning/input -o /mnt/data/pytorch_transfer_learning/output

    三方庫配置

    選擇三方庫列表,并在下方文本框中輸入以下內(nèi)容。

    numpy==1.16.4
    absl-py==0.11.0

    資源配置

    資源配額

    選擇公共資源

    框架

    選擇Pytorch

    任務(wù)資源

    選擇一臺合適的服務(wù)器。例如:資源規(guī)格選擇CPU下的ecs.g6.xlarge節(jié)點(diǎn)數(shù)量配置為1。

  3. 單擊確定

步驟六:查看任務(wù)詳情和日志結(jié)果

  1. 分布式訓(xùn)練任務(wù)頁面,單擊任務(wù)的名稱

  2. 任務(wù)詳情頁面,即可查看任務(wù)的基本信息基本任務(wù)配置等信息。

  3. 任務(wù)詳情頁面底部的實(shí)例頁簽,單擊目標(biāo)實(shí)例操作列下的日志,即可查看日志結(jié)果。

    日志結(jié)果如下圖所示。image.png