日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

模型導出

模型導出組件實現EasyRec模型導出(export)功能。

前提條件

已完成模型訓練

可視化配置參數

  • 輸入樁

輸入樁(從左到右)

限制數據類型/上游組件

對應PAI命令參數

是否必選

訓練模型目錄

OSS路徑/模型訓練

model_dir

  • 組件參數

頁簽

參數

是否必選

描述

對應PAI命令參數

默認值

參數設置

EasyRec配置文件

EasyRec配置文件模型訓練-模型路徑下面生成的名稱為pipeline.config的文件,訓練模型目錄和EasyRec配置文件至少選一個,訓練模型路徑優先級更高。

config

指定checkpoint路徑

checkpoint的OSS全路徑,如果配置這個參數,將會替代上游訓練模型路徑。

checkpoint_path

export_dir

模型導出的目錄。

export_dir

extra_params

指定paiflow未定義參數。指定assert_files等參數,例如:--assert_files oss://xxx

extra_params

指定算法版本

選中高級選項后,可以自定義EasyRec的執行版本。

1、請先參考文檔EasyRec版本更新,生成一個EasyRec的TAR包。

2、上傳對應版本EasyRec的TAR包到OSS路徑,詳情請參見控制臺上傳文件

3、在這個參數中選中上傳的文件。

script

執行調優

Worker數量

Worker的數量。

完整的執行調優參數會拼裝成cluster參數

1

Worker CPU用量

Worker申請的CPU數量,取值1表示一個CPU核。

8

Worker Memory用量(單位為MB)

Worker申請的內存,取值100表示100 MB。

40000

Worker GPU卡數

在EasyRec訓練中,一般不需要使用GPU。

  • 組件參數

輸出樁(從左到右)

數據類型

下游組件

模型導出路徑

OSS路徑

模型部署

PAI命令及說明

PAI -project algo_public -name easy_rec_ext
    -Dcmd="export" 
    -Dconfig="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425/pipeline.config" 	
    -Dmodel_dir="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425" 
    -Dexport_dir="oss://lcl-hz/rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/export/20230425/final_witn_fg" 
    -Darn="acs:ram::xxxx:role/aliyunodpspaidefaultrole"
    -Dbuckets="oss://rec_sln_demo/" 
    -Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}" 
    -Dextra_params="--asset_files oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/fg.json" 
    -Dlifecycle="28" 
    -DossHost="oss-cn-hangzhou-internal.aliyuncs.com";

參數名稱

描述

是否必選

config

訓練產生的pipeline.config,如果指定了model_dir將會覆蓋config里面的model_dir,一般在周期性調度的時候使用。

model_dir

訓練模型存儲的OSS路徑,如果指定了model_dir將會覆蓋config里面的model_dir,一般在周期性調度的時候使用。

cmd

指定為export,實現模型導出功能。

export_dir

導出到指定的OSS目錄。

arn

指定資源組授權,您可以登錄PAI控制臺,在開通和授權>全部云產品依賴頁面的Designer區域,單擊操作列下的查看授權信息,獲取arn。

ossHost

OSS各地域Endpoint。如何獲取Endpoint,請參見訪問域名和數據中心

buckets

config所在的bucket和保存模型的bucket,如果有多個bucket,使用半角逗號(,)分隔,例如oss://xxxx/,oss://xxxx/

extra_params

指定paiflow未定義參數。

使用示例

  1. 創建如下工作流

區域

描述

1,2,3

模型訓練的使用實例

4

配置模型導出export_dir參數。

image..png
  1. 運行工作流結束后,您在export_dir參數配置的OSS路徑下查看導出的模型

更完整的使用方式請參考推薦算法定制-排序8_rec_sln_demo_rec_sln_demo_sorting_v2_train。