模型導出組件實現EasyRec模型導出(export)功能。
前提條件
已完成模型訓練。
可視化配置參數
輸入樁
輸入樁(從左到右) | 限制數據類型/上游組件 | 對應PAI命令參數 | 是否必選 |
訓練模型目錄 | OSS路徑/模型訓練 | model_dir | 是 |
組件參數
頁簽 | 參數 | 是否必選 | 描述 | 對應PAI命令參數 | 默認值 |
參數設置 | EasyRec配置文件 | 否 | EasyRec配置文件是模型訓練-模型路徑下面生成的名稱為pipeline.config的文件,訓練模型目錄和EasyRec配置文件至少選一個,訓練模型路徑優先級更高。 | config | 無 |
指定checkpoint路徑 | 否 | checkpoint的OSS全路徑,如果配置這個參數,將會替代上游訓練模型路徑。 | checkpoint_path | 無 | |
export_dir | 是 | 模型導出的目錄。 | export_dir | 無 | |
extra_params | 否 | 指定paiflow未定義參數。指定assert_files等參數,例如:--assert_files oss://xxx | extra_params | 無 | |
指定算法版本 | 否 | 選中高級選項后,可以自定義EasyRec的執行版本。 1、請先參考文檔EasyRec版本更新,生成一個EasyRec的TAR包。 2、上傳對應版本EasyRec的TAR包到OSS路徑,詳情請參見控制臺上傳文件。 3、在這個參數中選中上傳的文件。 | script | 空 | |
執行調優 | Worker數量 | 否 | Worker的數量。 | 完整的執行調優參數會拼裝成cluster參數 | 1 |
Worker CPU用量 | 否 | Worker申請的CPU數量,取值1表示一個CPU核。 | 8 | ||
Worker Memory用量(單位為MB) | 否 | Worker申請的內存,取值100表示100 MB。 | 40000 | ||
Worker GPU卡數 | 否 | 在EasyRec訓練中,一般不需要使用GPU。 |
組件參數
輸出樁(從左到右) | 數據類型 | 下游組件 |
模型導出路徑 | OSS路徑 | 模型部署 |
PAI命令及說明
PAI -project algo_public -name easy_rec_ext
-Dcmd="export"
-Dconfig="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425/pipeline.config"
-Dmodel_dir="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/20230425"
-Dexport_dir="oss://lcl-hz/rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/export/20230425/final_witn_fg"
-Darn="acs:ram::xxxx:role/aliyunodpspaidefaultrole"
-Dbuckets="oss://rec_sln_demo/"
-Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}"
-Dextra_params="--asset_files oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v2/fg.json"
-Dlifecycle="28"
-DossHost="oss-cn-hangzhou-internal.aliyuncs.com";
參數名稱 | 描述 | 是否必選 |
config | 訓練產生的pipeline.config,如果指定了model_dir將會覆蓋config里面的model_dir,一般在周期性調度的時候使用。 | 否 |
model_dir | 訓練模型存儲的OSS路徑,如果指定了model_dir將會覆蓋config里面的model_dir,一般在周期性調度的時候使用。 | 否 |
cmd | 指定為export,實現模型導出功能。 | 是 |
export_dir | 導出到指定的OSS目錄。 | 是 |
arn | 指定資源組授權,您可以登錄PAI控制臺,在開通和授權>全部云產品依賴頁面的Designer區域,單擊操作列下的查看授權信息,獲取arn。 | 是 |
ossHost | OSS各地域Endpoint。如何獲取Endpoint,請參見訪問域名和數據中心。 | 是 |
buckets | config所在的bucket和保存模型的bucket,如果有多個bucket,使用半角逗號(,)分隔,例如 | 是 |
extra_params | 指定paiflow未定義參數。 | 否 |
使用示例
創建如下工作流
區域 | 描述 |
1,2,3 | 模型訓練的使用實例。 |
4 | 配置模型導出的export_dir參數。 |
運行工作流結束后,您在export_dir參數配置的OSS路徑下查看導出的模型
更完整的使用方式請參考推薦算法定制-排序8_rec_sln_demo_rec_sln_demo_sorting_v2_train。