數據集

本文使用天池平臺上的淘寶點擊數據，詳情請參見數據集。

步驟一：創建工作流

1. 進入數據開發頁面。

   登錄DataWorks控制臺，切換至目標地域后，單擊左側導航欄的數據建模與開發 > 數據開發，在下拉框中選擇對應工作空間后單擊進入數據開發。

2. 在數據開發頁面，鼠標懸停至圖標，單擊新建業務流程。

3. 在新建業務流程對話框中，輸入業務名稱和描述。

4. 單擊新建。

5. 在業務流程頁面，創建PAI Designer節點。

   1. 單擊新建節點，拖拽算法 > PAI Designer至右側畫布。

   2. 在新建節點頁面的名稱文本框中，輸入prepare_train_data，其他參數使用默認值。

   3. 單擊確認。

6. 在業務流程頁面，創建MaxCompute SQL節點。

   1. 拖拽MaxCompute > ODPS SQL至右側畫布。

   2. 在新建節點頁面的名稱文本框，輸入EasyRec_train，其他參數使用默認值。

   3. 單擊確認。

7. 在業務流程頁面，創建Shell節點。

   1. 拖拽通用 > Shell至右側畫布。

   2. 在新建節點頁面的名稱文本框，輸入deploy，其他參數使用默認值。

   3. 單擊確認。

步驟二：訓練并部署模型

1. 準備數據。

   您可以直接使用處理后的樣本表：訓練表為pai_online_project.easyrec_demo_taobao_train_data，評估表為pai_online_project.easyrec_demo_taobao_test_data，即省略PAI Designer節點，直接從MaxCompute SQL節點開始。

   您也可以按照以下流程準備數據。將天池平臺上淘寶點擊數據整合后的表為pai_online_project.easyrec_demo_taobao_ori_data，該數據集除大部分STRING類型的IdFeature類特征外，還有一列DOUBLE類型的Price特征（RawFeature類特征），需要使用Designer的分箱組件進行特征工程，您可以為已創建的機器學習節點關聯如下Designer工作流（只能關聯與DataWorks在同一地域的Designer工作流），詳情請參見創建機器學習（PAI）節點。具體的實驗流程如下。

   序號	描述
   ①	讀入數據。
   ②	分割出訓練數據。
   ③	分割出評估數據。
   ④	Shuffle過程。
   ⑤	使用分箱組件，進行等頻離散。
   ⑥	根據等頻離散的結果，對數據進行轉換。
   ⑦	將訓練數據寫入表。
   ⑧	將評估數據寫入表。

2. 訓練并導出模型。

   在已創建的DataWorks的MaxCompute SQL節點中，執行如下命令，進行模型訓練。

   PAI -project algo_public -name easy_rec_ext 
       -Darn="acs:ram::XXXXX:role/AliyunODPSPAIDefaultRole" 
       -Dbuckets="oss://examplebucket/xxx/" 
       -Dcluster="{\"ps\":{\"count\":2,\"cpu\":1000,\"memory\":40000},\"worker\":{\"count\":8,\"cpu\":1000,\"memory\":40000}}" 
       -Dcmd="train" 
       -Dconfig="oss://examplebucket/xxx/multitower.config" 
       -DossHost="oss-cn-region_name-internal.aliyuncs.com" 
       -Dtrain_tables="odps://pai_online_project/tables/easyrec_demo_taobao_train_data" 
       -Deval_tables="odps://pai_online_project/tables/easyrec_demo_taobao_test_data"
       -Dmodel_dir="oss://examplebucket/xxx/"
       -Dwith_evaluator=1;

   命令中的參數如下所示，需要根據實際情況替換參數值。

   參數	描述	示例
   project	工程名。EasyRec算法所在的project，默認為algo_public，通常不需要修改。僅特殊情況（EasyRec官方另行通知時）才需要修改。	algo_public
   arn	ARN的角色名稱。您可以登錄PAI控制臺，在開通和授權 > 全部云產品依賴頁面的Designer區域，單擊操作列下的查看授權信息，獲取arn。	"acs:ram::XXXXX:role/AliyunODPSPAIDefaultRole"
   buckets	用于指定算法將要讀取的OSS bucket。	"oss://examplebucket/xxx/"
   cluster	分布式運行任務信息，詳情請參見PAI-TF任務參數介紹中的cluster參數介紹。	"{\"ps\":{\"count\":2,\"cpu\":1000,\"memory\":40000},\"worker\":{\"count\":8,\"cpu\":1000,\"memory\":40000}}"
   cmd	需要配置為固定值train。	"train"
   config	模型Config文件的OSS路徑，您可以參考此處的MultiTower模型Config文件（下載Config示例）。	"oss://examplebucket/xxx/multitower.config"
   ossHost	OSS Endpoint，地域和Endpoint對照表請參見公共云下OSS Region和Endpoint對照表。	oss-cn-region_name-internal.aliyuncs.com
   train_tables	訓練表，多個訓練表之間使用半角逗號（,）分隔。	"odps://pai_online_project/tables/easyrec_demo_taobao_train_data"
   eval_tables	評估表，多個評估表之間使用半角逗號（,）分隔。	"odps://pai_online_project/tables/easyrec_demo_taobao_test_data"
   model_dir	模型目錄，將會覆蓋config配置的模型路徑，一般在周期性調度時使用。	"oss://examplebucket/xxx/"
   with_evaluator	是否在訓練時使用一個Worker進行評估。通常設置8個Worker，其中七個Worker進行訓練，一個Worker進行評估（計算測試集的AUC）。取值范圍如下： 0：訓練時不使用Worker進行評估。 1：訓練時使用一個Worker進行評估。	1

   訓練完成后，系統會自動將模型導出至model_dir配置路徑下的/export/final/目錄。

3. 部署模型（該步驟中的命令均在已創建的DataWorks的Shell節點中執行）。

   1. 執行如下命令編寫描述服務相關信息（模型存儲位置及資源規格等）的JSON文件，該文件的詳細參數請參見創建服務，如下僅給出編寫JSON文件的示例命令，需要您根據實際情況修改參數值。

      ymd=$1 #獲取例行化配置中設置的日期參數。
      cat << EOF > echo.json
      {
        "cloud": {
        	"computing": {
          	"instance_type": "ecs.c7.large"
            }
          },
       	"metadata": {
        	"instance": 1,
         	"name": "model_name" 
       },
       "model_path": "your_model_path",
       "processor": "tensorflow_cpu_1.12", 
      }
      EOF

      其中：model_path需要配置為上述步驟已生成的模型路徑；name配置為模型服務名稱，同地域內唯一。

   2. 部署模型。

      您可以根據實際部署情況，選擇創建服務或更新服務：

      • 如果首次部署服務，則可以使用如下命令，創建新服務。

        /home/admin/usertools/tools/eascmd -i <yourAccessId> -k <yourAccessKey> -e <OSS Endpoint> create <echo.json>

        參數	描述	示例
        <yourAccessId>	阿里云賬號的AccessKey ID。	無
        <yourAccessKey>	阿里云賬號的AccessKey Secret。	無
        <OSS Endpoint>	將模型部署至某地域，此參數為該地域對應的Endpoint，取值詳情請參見命令使用說明中地域與Endpoint的對應關系表。	pai-eas.cn-shanghai.aliyuncs.com
        <echo.json>	上一步中編寫的描述服務相關信息（模型存儲位置及資源規格等）的JSON文件名稱。	echo.json

      • 如果存在已經部署的服務，則可以使用如下命令，更新服務。

        /home/admin/usertools/tools/eascmd -i <yourAccessId> -k <yourAccessKey> -e <Endpoint> modify <cn-beijing/model_name> -s echo.json

        參數	描述	示例
        <yourAccessId>	阿里云賬號的AccessKey ID。	無
        <yourAccessKey>	阿里云賬號的AccessKey Secret。	無
        <Endpoint>	將模型部署至某地域，此參數為該地域對應的Endpoint，取值詳情請參見命令使用說明中地域與Endpoint的對應關系表。	pai-eas.cn-shanghai.aliyuncs.com
        <cn-beijing/model_name>	模型地址與OSS數據所在地域一致。該模型名稱指描述服務相關信息JSON文件中，name參數的取值。	cn-beijing/model_name
        <echo.json>	描述服務相關信息的JSON文件名稱。	echo.json

步驟三：配置任務例行化

1. 打開節點頁面。

   您可以通過以下任意一種方式打開EasyRec_train節點：

   • 雙擊EasyRec_train節點。

   • 右鍵單擊EasyRec_train，在快捷菜單中，單擊打開節點。

2. 在節點頁面，單擊頁面右側的調度配置。

3. 在調度配置頁面的調度參數區域，配置時間參數，以區分不同天的任務。

4. 在調度配置頁面的調度依賴區域，配置上下游節點，詳情請參見配置同周期調度依賴。

   說明

   如果節點無上游依賴，則使用工作空間根節點。

5. 單擊Shell節點頁面上方的圖標，保存配置。

6. 在業務流程頁面，單擊上方的圖標，運行Shell節點。

Debug

運行EasyRec命令時，DataWorks會打印Logview。您可以通過Logview快速查看模型訓練效果或定位錯誤。

1. 在瀏覽器中打開Logview（即下圖紅框中的鏈接）。

2. 在日志頁面的Job Details頁簽，雙擊ODPS Tasks實例。

3. 在日志頁面的ODPS Tasks區域，單擊ODPS Tasks實例。

4. 在Worker運行頁面，可以根據需要選擇查看對應的實例。

   其中：

   • worker 0為訓練worker（worker 0、worker 2~worker 7均為訓練worker），單擊StdEarr列下的圖標，即可查看訓練進程。每log_step_count_steps步，打印一次日志。

   • worker1為評估worker，單擊stderr列下的圖標，即可查看模型在評估集上的指標。