該組件使用split_model_pai.py腳本,實現向量召回模型拆分的功能。
前提條件
已開通OSS并完成授權,詳情請參見開通OSS服務和云產品依賴與授權:Designer。
完成模型訓練。
可視化配置參數
輸入樁
輸入樁(從左到右)
限制數據類型/上游組件
對應PAI命令參數
是否必選
訓練模型路徑
OSS路徑/模型訓練
model_dir
是
組件參數
頁簽
參數
是否必選
描述
對應PAI命令參數
默認值
參數設置
導出類型
否
上游模型訓練后的導出類型exporter_type,取值如下:
-best
-final
-latest
無PAI命令參數,對應config文件內的
exporter_type:"best"
final
user模型輸出路徑
否
user模型輸出路徑,如果您沒有配置該參數,您需要單擊空白畫布,在工作流屬性頁簽中配置工作流數據存儲路徑。Designer會在工作流數據存儲路徑下生成一個隨機路徑。
user_model_dir
無
item模型輸出路徑
否
item模型輸出路徑,如果您沒有配置該參數,您需要單擊空白畫布,在工作流屬性頁簽中配置工作流數據存儲路徑。Designer會在工作流數據存儲路徑下生成一個隨機路徑。
item_model_dir
無
user_fg.json輸入文件
是
user_fg.json輸入文件所在的OSS全路徑。
user_fg_json_path
無
item_fg.json輸入文件
是
item_fg.json輸入文件所在的OSS全路徑。
item_fg_json_path
無
指定算法版本
是
可以自定義EasyRec的執行版本。
請先參考文檔EasyRec版本更新,生成一個EasyRec的TAR包。
上傳對應版本的TAR包到OSS路徑,參考控制臺上傳文件。
在這個參數中選中上傳的文件。
script
空
執行調優
Worker數量
否
Worker的數量。
完整的執行調優參數會拼裝成cluster參數
1
Worker CPU用量
否
Worker申請的CPU數量,取值1表示一個CPU核。
8
Worker Memory用量(單位為MB)
否
Worker申請的內存,取值100表示100 MB。
40000
Worker GPU卡數
否
在EasyRec訓練中,一般不需要使用GPU。
0
輸出樁
輸出樁(從左到右)
數據類型
對應PAI命令參數
是否必選
user模型路徑
OSS路徑
user_model_dir
是
item模型路徑
OSS路徑
item_model_dir
是
PAI命令及說明
PAI -project algo_public -name easy_rec_ext
-Dcmd="custom"
-Darn="acs:ram::xxx:role/aliyunodpspaidefaultrole"
-Dbuckets="oss://lcl-hz/"
-Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}"
-DentryFile="easy_rec/python/tools/split_model_pai.py"
-Dextra_params="--model_dir=oss://examplebucket/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final --user_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v1/20230425/export/final/user --item_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final/item --user_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/user_fg.json --item_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/item_fg.json"
-Dlifecycle="28"
-DossHost="oss-cn-hangzhou-internal.aliyuncs.com"
-Dscript="oss://examplebucket/easy_rec_ext_0.6.1_res.tar.gz";
參數名稱 | 是否必選 | 描述 |
entryFile | 是 | 執行文件,執行split_model_pai.py腳本。 |
cmd | 是 | 指示命令,指示為custom。 |
arn | 是 | 指定授權資源,您可以登錄PAI控制臺,在開通和授權>全部云產品依賴頁面的Designer區域,單擊操作列下的查看授權信息,獲取arn。 |
ossHost | 是 | OSS各地域Endpoint。如何獲取Endpoint,請參見訪問域名和數據中心。 |
buckets | 是 | 配置所在的bucket和保存模型的bucket,如果有多個bucket,使用半角逗號(,)分隔,例如 |
extra_params | 是 | 額外參數,PAIFlow上沒有定義的參數,指定model_dir、user_model_dir、item_model_dir、user_fg_json_path、item_fg_json_path參數。 |
使用示例
請參考推薦算法定制DSSM向量召回節點12_rec_sln_demo_dssm_recall_v1_train_2,該節點使用了向量召回模型拆分組件。