日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

向量召回模型拆分

該組件使用split_model_pai.py腳本,實現向量召回模型拆分的功能。

前提條件

可視化配置參數

  • 輸入樁

    輸入樁(從左到右)

    限制數據類型/上游組件

    對應PAI命令參數

    是否必選

    訓練模型路徑

    OSS路徑/模型訓練

    model_dir

  • 組件參數

    頁簽

    參數

    是否必選

    描述

    對應PAI命令參數

    默認值

    參數設置

    導出類型

    上游模型訓練后的導出類型exporter_type,取值如下:

    -best

    -final

    -latest

    無PAI命令參數,對應config文件內的exporter_type:"best"

    final

    user模型輸出路徑

    user模型輸出路徑,如果您沒有配置該參數,您需要單擊空白畫布,在工作流屬性頁簽中配置工作流數據存儲路徑。Designer會在工作流數據存儲路徑下生成一個隨機路徑。

    user_model_dir

    item模型輸出路徑

    item模型輸出路徑,如果您沒有配置該參數,您需要單擊空白畫布,在工作流屬性頁簽中配置工作流數據存儲路徑。Designer會在工作流數據存儲路徑下生成一個隨機路徑。

    item_model_dir

    user_fg.json輸入文件

    user_fg.json輸入文件所在的OSS全路徑。

    user_fg_json_path

    item_fg.json輸入文件

    item_fg.json輸入文件所在的OSS全路徑。

    item_fg_json_path

    指定算法版本

    可以自定義EasyRec的執行版本。

    1. 請先參考文檔EasyRec版本更新,生成一個EasyRec的TAR包。

    2. 上傳對應版本的TAR包到OSS路徑,參考控制臺上傳文件

    3. 在這個參數中選中上傳的文件。

    script

    執行調優

    Worker數量

    Worker的數量。

    完整的執行調優參數會拼裝成cluster參數

    1

    Worker CPU用量

    Worker申請的CPU數量,取值1表示一個CPU核。

    8

    Worker Memory用量(單位為MB)

    Worker申請的內存,取值100表示100 MB。

    40000

    Worker GPU卡數

    在EasyRec訓練中,一般不需要使用GPU。

    0

  • 輸出樁

    輸出樁(從左到右)

    數據類型

    對應PAI命令參數

    是否必選

    user模型路徑

    OSS路徑

    user_model_dir

    item模型路徑

    OSS路徑

    item_model_dir

PAI命令及說明

PAI -project algo_public -name easy_rec_ext
-Dcmd="custom" 
-Darn="acs:ram::xxx:role/aliyunodpspaidefaultrole" 
-Dbuckets="oss://lcl-hz/" 
-Dcluster="{\"worker\": {\"count\": 1, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}" 
-DentryFile="easy_rec/python/tools/split_model_pai.py" 
-Dextra_params="--model_dir=oss://examplebucket/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final --user_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_rec_sln_demo_sorting_v1/20230425/export/final/user --item_model_dir=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425/export/final/item --user_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/user_fg.json --item_fg_json_path=oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/item_fg.json" 
-Dlifecycle="28" 
-DossHost="oss-cn-hangzhou-internal.aliyuncs.com" 
-Dscript="oss://examplebucket/easy_rec_ext_0.6.1_res.tar.gz";

參數名稱

是否必選

描述

entryFile

執行文件,執行split_model_pai.py腳本。

cmd

指示命令,指示為custom。

arn

指定授權資源,您可以登錄PAI控制臺,在開通和授權>全部云產品依賴頁面的Designer區域,單擊操作列下的查看授權信息,獲取arn。

ossHost

OSS各地域Endpoint。如何獲取Endpoint,請參見訪問域名和數據中心

buckets

配置所在的bucket和保存模型的bucket,如果有多個bucket,使用半角逗號(,)分隔,例如oss://xxxx/,oss://xxxx/

extra_params

額外參數,PAIFlow上沒有定義的參數,指定model_dir、user_model_dir、item_model_dir、user_fg_json_path、item_fg_json_path參數。

使用示例

請參考推薦算法定制DSSM向量召回節點12_rec_sln_demo_dssm_recall_v1_train_2,該節點使用了向量召回模型拆分組件。