使用流程

將模型部署為EAS在線服務(wù)，對給定的篇章文本和問題進行自動閱讀理解。

1. 步驟一：準(zhǔn)備數(shù)據(jù)

   將訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集上傳到OSS Bucket中，用于后續(xù)的機器閱讀理解模型訓(xùn)練和預(yù)測。

2. 步驟二：構(gòu)建機器閱讀理解模型

   在Designer平臺上，使用機器閱讀理解訓(xùn)練組件，基于海量大數(shù)據(jù)語料預(yù)訓(xùn)練獲得的NLP預(yù)訓(xùn)練模型，構(gòu)建機器閱讀理解模型。

3. 步驟三：離線批量預(yù)測

   在Designer平臺上，使用機器閱讀理解預(yù)測組件，基于海量篇章文本和問句，用微調(diào)好的機器閱讀理解模型或PAI提供的默認模型，進行批量離線預(yù)測答案抽取。

4. 步驟四：部署及調(diào)用模型服務(wù)

   通過模型在線服務(wù)EAS，您可以將訓(xùn)練好的機器閱讀理解模型部署為在線服務(wù)，并在實際的生產(chǎn)環(huán)境調(diào)用，從而實現(xiàn)在線機器閱讀理解。

步驟一：準(zhǔn)備數(shù)據(jù)

1. 準(zhǔn)備訓(xùn)練數(shù)據(jù)集和驗證數(shù)據(jù)集。

   本文使用某個中文機器閱讀理解數(shù)據(jù)集進行模型訓(xùn)練和預(yù)測。訓(xùn)練數(shù)據(jù)集和預(yù)測數(shù)據(jù)集具體格式要求如下。

   需要準(zhǔn)備的數(shù)據(jù)	格式	包含列	數(shù)據(jù)集示例文件
   訓(xùn)練數(shù)據(jù)集	TSV或TXT	ID列 篇章列 問句列 答案列 起始位置列 標(biāo)題列（非必須）	cn_train.tsv
   驗證數(shù)據(jù)集	TSV或TXT	ID列 篇章列 問句列 答案列（非必須） 起始位置列（非必須） 標(biāo)題列（非必須）	cn_dev.tsv

2. 將數(shù)據(jù)集上傳至OSS Bucket，具體操作，請參見上傳文件。

   說明

   如果您需要利用自己的數(shù)據(jù)集對模型進行微調(diào)，則需要提前將數(shù)據(jù)集上傳至OSS Bucket中。

步驟二：構(gòu)建機器閱讀理解模型

1. 進入PAI-Designer頁面，并創(chuàng)建空白工作流，具體操作請參見操作步驟。

2. 在工作流列表，選擇已創(chuàng)建的空白工作流，單擊進入工作流。

3. 在工作流頁面，分別拖入以下組件，并根據(jù)下文的組件參數(shù)配置組件。

   

   區(qū)域	描述
   ①	配置實驗的訓(xùn)練數(shù)據(jù)集，即配置讀OSS數(shù)據(jù)-1組件的OSS數(shù)據(jù)路徑參數(shù)為訓(xùn)練數(shù)據(jù)集在OSS Bucket中的存儲路徑。
   ②	配置實驗的驗證數(shù)據(jù)集，即配置讀OSS數(shù)據(jù)-2組件的OSS數(shù)據(jù)路徑參數(shù)為驗證數(shù)據(jù)集在OSS Bucket中的存儲路徑。
   ③	配置文本摘要模型訓(xùn)練的參數(shù)。機器閱讀理解訓(xùn)練組件的配置詳情，請參見下文的機器閱讀理解訓(xùn)練組件的配置。

   表 1. 機器閱讀理解訓(xùn)練組件的配置

   頁簽	參數(shù)	描述	本案例使用的示例值
   字段設(shè)置	選擇語種	輸入文件的語種，目前支持以下兩種語言的機器閱讀理解： zh en	zh
   	輸入數(shù)據(jù)格式	輸入文件中每列的數(shù)據(jù)格式，多列之間使用半角逗號（,）分隔。	qas_id:str:1,context_text:str:1,question_text:str:1,answer_text:str:1,start_position_character:str:1,title:str:1
   	問句列	問句在輸入文件中對應(yīng)的列名。	question_text
   	篇章列	篇章文本在輸入文件中對應(yīng)的列名。	context_text
   	回復(fù)列	答案在輸入文件中對應(yīng)的列名。	answer_text
   	ID列	ID在輸入文件中對應(yīng)的列名。	qas_id
   	起始位置列	在輸入文件中，答案在篇章文本中的起始位置對應(yīng)的列名。	start_position_character
   	模型存儲路徑	配置OSS Bucket中的目錄，用來存儲機器閱讀理解模型訓(xùn)練或微調(diào)后生成的模型文件。	oss://exampleBucket.oss-cn-shanghai-internal.aliyuncs.com/exampledir 說明 需要修改為您使用的OSS路徑。
   參數(shù)設(shè)置	批次大小	訓(xùn)練過程中的批處理大小。如果使用多機多卡，則表示每個GPU上的批處理大小。	4 說明 由于滑動窗口機制的存在，訓(xùn)練時批次大小不宜設(shè)置過大，否則易造成內(nèi)存溢出。
   	篇章最大長度	表示系統(tǒng)可處理的篇章最大長度。	384
   	問句最大長度	表示系統(tǒng)可處理的問句最大長度。	64
   	滑動窗口大小	對篇章進行滑動窗口切分時，滑動窗口的大小。	128
   	迭代輪數(shù)	訓(xùn)練總Epoch的數(shù)量。	3
   	學(xué)習(xí)率	模型構(gòu)建過程中的學(xué)習(xí)率。	3.5e-5
   	保存Checkpoint步數(shù)	表示每訓(xùn)練多少步，對模型進行評價，并保存當(dāng)前最優(yōu)模型。	600
   	pretrainModelNameOrPath	系統(tǒng)提供的預(yù)訓(xùn)練模型名稱路徑選擇，取值如下： 自定義 hfl/macbert-base-zh（默認值） hfl/macbert-large-zh bert-base-uncased bert-large-uncased	hfl/macbert-base-zh
   	模型額外參數(shù)	用戶自定義參數(shù)，您可以根據(jù)自己的數(shù)據(jù)對模型參數(shù)進行調(diào)整。 如果您想采用自定義的預(yù)訓(xùn)練或微調(diào)好的模型時，可以在這里聲明。	無需填寫
   執(zhí)行調(diào)優(yōu)	GPU機器類型	計算資源的GPU機型。默認值為gn5-c8g1.2xlarge，表示8核CPU、80 GB內(nèi)存、P100單卡。	gn5-c8g1.2xlarge
   	指定Worker的GPU卡數(shù)	每個Worker下的GPU卡數(shù)量。	1

步驟三：離線批量預(yù)測

1. 配置離線預(yù)測工作流。

   機器閱讀理解預(yù)測組件有以下兩種工作方式。

   • 方式一：利用機器閱讀理解訓(xùn)練組件生成的模型進行預(yù)測并抽取答案。

     您需要在步驟二的工作流頁面，參照下圖補充拖入組件，并根據(jù)下文的組件參數(shù)配置組件。

   • 方式二：將PAI默認模型上傳至OSS Bucket，并接入機器閱讀理解預(yù)測組件進行預(yù)測并抽取答案。

     您需要參照步驟二創(chuàng)建新的空白工作流，參照下圖拖入組件，并根據(jù)下文的組件參數(shù)配置組件。

   區(qū)域	描述
   ①	配置實驗的預(yù)測數(shù)據(jù)集（使用步驟一中的驗證數(shù)據(jù)集作為預(yù)測數(shù)據(jù)集），即配置讀OSS數(shù)據(jù)-3組件的OSS數(shù)據(jù)路徑參數(shù)為驗證數(shù)據(jù)集在OSS Bucket中的存儲路徑。
   ②	配置機器閱讀理解模型預(yù)測的參數(shù)。機器閱讀理解預(yù)測組件的配置詳情，請參見機器閱讀理解預(yù)測組件的配置。

   表 2. 機器閱讀理解預(yù)測組件的配置

   頁簽	參數(shù)	描述	本案例使用的示例值
   字段設(shè)置	選擇語種	輸入文件的語種，目前支持以下兩種語言的機器閱讀理解： zh en	zh
   	輸入數(shù)據(jù)格式	輸入文件中每列的數(shù)據(jù)格式，多列之間使用半角逗號（,）分隔。	qas_id:str:1,context_text:str:1,question_text:str:1,answer_text:str:1,start_position_character:str:1,title:str:1
   	問句列	問句在輸入文件中對應(yīng)的列名。	question_text
   	篇章列	篇章文本在數(shù)據(jù)文件中對應(yīng)的列名。	context_text
   	回復(fù)列	答案在輸入文件中對應(yīng)的列名。	answer_text
   	Id列	ID在輸入文件中對應(yīng)的列名。	qas_id
   	起始位置列	在輸入文件中，答案在篇章文本中的起始位置對應(yīng)的列名。	start_position_character
   	預(yù)測數(shù)據(jù)輸出	配置OSS Bucket中的目錄，用來存儲機器閱讀理解模型預(yù)測的答案文件。	oss://exampleBucket.oss-cn-shanghai-internal.aliyuncs.com/exampledir1 說明 需要修改為您使用的OSS路徑。
   	使用自定義模型	選擇是否使用自定義模型，取值如下： 否：對應(yīng)上述方式一。 是：對應(yīng)上述方式二。	否
   	模型存儲路徑	當(dāng)使用自定義模型為是時，需要配置該參數(shù)。 配置OSS Bucket中的目錄，用來存儲自定義模型文件。	oss://exampleBucket.oss-cn-shanghai-internal.aliyuncs.com/exampledir2 說明 需要修改為您使用的OSS路徑。
   參數(shù)設(shè)置	批次大小	訓(xùn)練過程中的批處理大小。如果使用多機多卡，則表示每個GPU上的批處理大小。	256
   	篇章最大長度	表示系統(tǒng)可處理的篇章最大長度。	384
   	問句最大長度	表示系統(tǒng)可處理的問句最大長度。	64
   	回復(fù)最大長度	表示系統(tǒng)可抽取的答案最大長度。	30
   	滑動窗口大小	對篇章進行滑動窗口切分時，滑動窗口的大小。	128
   	pretrainModelNameOrPath	系統(tǒng)提供的預(yù)訓(xùn)練模型名稱或路徑選擇，取值如下： 用戶自定義 hfl/macbert-base-zh hfl/macbert-large-zh bert-base-uncased bert-large-uncased	hfl/macbert-base-zh
   	模型額外參數(shù)	用戶自定義參數(shù)，您可以根據(jù)自己的數(shù)據(jù)對模型參數(shù)進行調(diào)整。	無需填寫
   執(zhí)行調(diào)優(yōu)	GPU機型類型	計算資源的GPU機型。默認值為gn5-c8g1.2xlarge，表示8核CPU、80 GB內(nèi)存、P100單卡。	gn5-c8g1.2xlarge
   	指定Worker的GPU卡數(shù)	每個Worker下的GPU卡數(shù)量。	1

2. 單擊畫布上方的運行。

3. 實驗運行成功后，您可以在機器閱讀理解預(yù)測組件預(yù)測數(shù)據(jù)輸出配置的OSS Bucket目錄中，下載系統(tǒng)預(yù)測出的答案文件；在機器閱讀理解訓(xùn)練組件模型存儲路徑配置的OSS Bucket目錄中，下載生成的模型文件和配置文件。

步驟四：部署及調(diào)用模型服務(wù)

通過模型在線服務(wù)PAI EAS，您可以將訓(xùn)練好的機器閱讀理解模型部署為在線服務(wù)，并在實際的生產(chǎn)環(huán)境中調(diào)用，從而進行推理實踐。

1. 進入模型在線服務(wù)（EAS）頁面。

   1. 登錄PAI控制臺。

   2. 在左側(cè)導(dǎo)航欄單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應(yīng)的工作空間。

   3. 在工作空間頁面的左側(cè)導(dǎo)航欄選擇模型部署 > 模型在線服務(wù)（EAS），進入模型在線服務(wù)（EAS）頁面。

2. 部署模型服務(wù)。

   1. 在模型在線服務(wù)（EAS）頁面的推理服務(wù)頁簽，單擊部署服務(wù)。

   2. 在部署服務(wù)頁面，配置以下參數(shù)（此處僅介紹與本案例相關(guān)的核心參數(shù)配置，其他參數(shù)配置，詳情請參見控制臺上傳部署），并單擊部署。

      參數(shù)	描述
      服務(wù)名稱	模型的名稱，建議結(jié)合實際業(yè)務(wù)進行命名，以區(qū)分不同的模型服務(wù)。
      部署方式	選擇模型+processor部署服務(wù)。
      Processor種類	選擇EasyNLP。
      模型文件	本案例中訓(xùn)練好的模型均存儲在OSS中，因此選擇OSS掛載。 OSS路徑選擇機器閱讀理解組件模型存儲路徑參數(shù)配置的路徑下的模型文件夾（其中包含config.json、pytorch_model.bin、pytorch_model.meta.bin、train_config.json、vocab.txt及l(fā)abel_mapping.json）。例如，對于下圖中的模型目錄結(jié)構(gòu)，您需要將OSS路徑選擇到此目錄。
      模型類別	按照您自己的實際情況選擇機器閱讀理解（中文）或者機器閱讀理解（英文）。
      資源部署信息	按照您購買的資源進行合適選擇，建議優(yōu)先選擇GPU資源。

3. 調(diào)試模型服務(wù)。

   1. 在模型在線服務(wù)（EAS）頁面，單擊目標(biāo)服務(wù)操作列下的在線調(diào)試。

   2. 在調(diào)試頁面的在線調(diào)式請求參數(shù)區(qū)域的Body處填寫如下內(nèi)容。

      [
        {"query": "杭州什么時候發(fā)布了《杭州市亞運城市行動計劃綱要》？", "context": "某某社杭州9月22日電競賽場館全部竣工并完成賽事功能驗收，“迎亞運”城市基礎(chǔ)設(shè)施建設(shè)邁入快車道，亞運場館提前開放掀起全民健身熱潮……23日，延期后的杭州亞運會將迎來倒計時一周年，各項籌備工作也結(jié)出累累碩果，“天堂之城”再次蓄勢待發(fā)。辦好一個會，提升一座城。2020年4月，杭州發(fā)布了《杭州市亞運城市行動計劃綱要》，其中包括基礎(chǔ)設(shè)施提升、綠水青山守護、數(shù)字治理賦能等八項具體行動。隨著亞運的腳步日益臨近，杭州西站、蕭山國際機場三期、合杭高鐵湖杭段、機場軌道快線（19號線）等“兩點兩線”重大項目正式投運。根據(jù)杭州市城鄉(xiāng)建設(shè)委員會發(fā)布的信息，預(yù)計到今年9月底全市快速路總里程將達到480公里。住在這里的人們正切身體會到悄然發(fā)生的變化-交通方便了，道路變美了，城市基礎(chǔ)設(shè)施也愈發(fā)完善。", "id": "01"},
        {"query": "今年9月底全市快速路總里程將達到多少？", "context": "某某社杭州9月22日電競賽場館全部竣工并完成賽事功能驗收，“迎亞運”城市基礎(chǔ)設(shè)施建設(shè)邁入快車道，亞運場館提前開放掀起全民健身熱潮……23日，延期后的杭州亞運會將迎來>倒計時一周年，各項籌備工作也結(jié)出累累碩果，“天堂之城”再次蓄勢待發(fā)。辦好一個會，提升一座城。2020年4月，杭州發(fā)布了《杭州市亞運城市行動計劃綱要》，其中包括基礎(chǔ)設(shè)施提升、綠水青山守護、數(shù)字治理賦能等八項具體行動。隨著亞運的腳步日益臨近，杭州西站、蕭山國際機場三期、合杭高鐵湖杭段、機場軌道快線（19號線）等“兩點兩線”重大項目正式投運。根據(jù)杭州市城鄉(xiāng)建設(shè)委員會發(fā)布的信息，預(yù)計到今年9月底全市快速路總里程將達到480公里。住在這里的人們正切身體會到悄然發(fā)生的變化-交通方便了，道路變美了，城市基礎(chǔ)設(shè)施也愈發(fā)完善。", "id": "02"}
      ]

   3. 單擊發(fā)送請求，即可在調(diào)式信息區(qū)域查看預(yù)測結(jié)果，如下圖所示。

      預(yù)測結(jié)果中：best_answer即為模型給出的答案文本。為方便對照，輸入的id、query、context信息也會一并返回。如果您在輸入中指定了參考答案，該參考答案文本也會在gold_answer中一并返回。返回結(jié)果示例如下。

      [
        {"unique_id": "01", "best_answer": "2020年4月", "gold_answer": "", "query": "杭州什么時候發(fā)布了《杭州市亞運城市行動計劃綱要》？", "context": "某某社杭州9月22日電競賽場館全部竣工并完成賽事功能驗收，“迎亞運”城市基礎(chǔ)設(shè)施建設(shè)邁入快車道，亞運場館提前開放掀起全民健身熱潮……23日，延期后的杭州亞運會將迎來倒計時一周年，各項籌備工作也結(jié)出累累碩果，“天堂之城”再次蓄勢待發(fā)。辦好一個會，提升一座城。2020年4月，杭州發(fā)布了《杭州市亞運城市行動計劃綱要》，其中包括基礎(chǔ)設(shè)施提升、綠水青山守護、數(shù)字治理賦能等八項具體行動。隨著亞運的腳步日益臨近，杭州西站、蕭山國際機場三期、合杭高鐵湖杭段、機場軌道快線（19號線）等“兩點兩線”重大項目正式投運。根據(jù)杭州市城鄉(xiāng)建設(shè)委員會發(fā)布的信息，預(yù)計到今年9月底全市快速路總里程將達到480公里。住在這里的人們正切身體會到悄然發(fā)生的變化-交通方便了，道路變美了，城市基礎(chǔ)設(shè)施也愈發(fā)完善。"},
        {"unique_id": "02", "best_answer": "480公里", "gold_answer": "", "query": "今年9月底全市快速路總里程將達到多少？", "context": "某某社杭州9月22日電競賽場館全部竣工并完成賽事功能驗收，“迎亞運”城市基礎(chǔ)設(shè)施建設(shè)邁入快車道，亞運場館提前開放掀起全民健身熱潮……23日，延期后的杭州亞運會將迎來>倒計時一周年，各項籌備工作也結(jié)出累累碩果，“天堂之城”再次蓄勢待發(fā)。辦好一個會，提升一座城。2020年4月，杭州發(fā)布了《杭州市亞運城市行動計劃綱要》，其中包括基礎(chǔ)設(shè)施提升、綠水青山守護、數(shù)字治理賦能等八項具體行動。隨著亞運的腳步日益臨近，杭州西站、蕭山國際機場三期、合杭高鐵湖杭段、機場軌道快線（19號線）等“兩點兩線”重大項目正式投運。根據(jù)杭州市城鄉(xiāng)建設(shè)委員會發(fā)布>的信息，預(yù)計到今年9月底全市快速路總里程將達到480公里。住在這里的人們正切身體會到悄然發(fā)生的變化-交通方便了，道路變美了，城市基礎(chǔ)設(shè)施也愈發(fā)完善。"}
      ]

4. 查看模型服務(wù)的公網(wǎng)地址和訪問Token。

   1. 在模型在線服務(wù)（EAS）頁面，單擊目標(biāo)服務(wù)服務(wù)方式列下的調(diào)用信息。

   2. 在調(diào)用信息對話框的公網(wǎng)地址調(diào)用頁簽，查看公網(wǎng)調(diào)用的訪問地址和Token。

5. 使用腳本進行批量調(diào)用。

   1. 創(chuàng)建調(diào)用模型服務(wù)的Python腳本eas_test_mrc.py。

      #!/usr/bin/env python
      #encoding=utf-8
      from eas_prediction import PredictClient
      from eas_prediction import StringRequest
      
      if __name__ == '__main__':
          #下面的client = PredictClient()入?yún)⑿枰鎿Q為實際的訪問地址。
          client = PredictClient('http://xxxxxxxxxxxxxxxx.cn-hangzhou.pai-eas.aliyuncs.com', 'test_mrc_new')
          
          #下面的Token需要替換為實際值。
          client.set_token('ZDY5Mzg1xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxjlmZTEyYmY0Yg==')
          client.init()
          
          #輸入請求需要根據(jù)模型進行構(gòu)造，此處僅以字符串作為輸入輸出的程序為例。
          request = StringRequest('[{"query": "杭州什么時候發(fā)布了《杭州市亞運城市行動計劃綱要》？", "context": "某某社杭州9月22日電競賽場館全部竣工并完成賽事功能驗收，“迎亞運”城市基礎(chǔ)設(shè)施建設(shè)邁入快車道，亞運場館提前開放掀起全民健身熱潮……23日，延期后的杭州亞運會將迎來倒計時一周年，各項籌備工作也結(jié)出累累碩果，“天堂之城”再次蓄勢待發(fā)。辦好一個會，提升一座城。2020年4月，杭州發(fā)布了《杭州市亞運城市行動計劃綱要》，其中包括基礎(chǔ)設(shè)施提升、綠水青山守護、數(shù)字治理賦能等八項具體行動。隨著亞運的腳步日益臨近，杭州西站、蕭山國際機場三期、合杭高鐵湖杭段、機場軌道快線（19號線）等“兩點兩線”重大項目正式投運。根據(jù)杭州市城鄉(xiāng)建設(shè)委員會發(fā)布的信息，預(yù)計到今年9月底全市快速路總里程將達到480公里。住在這里的人們正切身體會到悄然發(fā)生的變化-交通方便了，道路變美了，城市基礎(chǔ)設(shè)施也愈發(fā)完善。", "id": "01"},    {"query": "今年9月底全市快速路總里程將達到多少？", "context": "某某社杭州9月22日電競賽場館全部竣工并完成賽事功能驗收，“迎亞運”城市基礎(chǔ)設(shè)施建設(shè)邁入快車道，亞運場館提前開放掀起全民健身熱潮……23日，延期后的杭州亞運會將迎來>倒計時一周年，各項籌備工作也結(jié)出累累碩果，“天堂之城”再次蓄勢待發(fā)。辦好一個會，提升一座城。2020年4月，杭州發(fā)布了《杭州市亞運城市行動計劃綱要》，其中包括基礎(chǔ)設(shè)施提升、綠水青山守護、數(shù)字治理賦能等八項具體行動。隨著亞運的腳步日益臨近，杭州西站、蕭山國際機場三期、合杭高鐵湖杭段、機場軌道快線（19號線）等“兩點兩線”重大項目正式投運。根據(jù)杭州市城鄉(xiāng)建設(shè)委員會發(fā)布>的信息，預(yù)計到今年9月底全市快速路總里程將達到480公里。住在這里的人們正切身體會到悄然發(fā)生的變化-交通方便了，道路變美了，城市基礎(chǔ)設(shè)施也愈發(fā)完善。", "id": "02"}]')
          
          for x in range(0, 1):
               resp = client.predict(request)
               print(str(resp.response_data, 'utf8'))
      print("test ending")

   2. 將eas_test_mrc.py的Python腳本上傳至您的任意環(huán)境，并在腳本上傳后的當(dāng)前目錄執(zhí)行如下調(diào)用命令。

      python <eas_test_mrc.py>

      其中<eas_test_mrc.py>需要替換為實際的Python腳本名稱。

6. 監(jiān)控服務(wù)指標(biāo)。調(diào)用模型服務(wù)后，您可以查看模型調(diào)用的相關(guān)指標(biāo)水位，包括QPS、RT、CPU、GPU及Memory。

   1. 在PAI-EAS 模型在線服務(wù)頁面，單擊已調(diào)用服務(wù)服務(wù)監(jiān)控列下的圖標(biāo)。

   2. 在服務(wù)監(jiān)控頁簽，即可查看模型調(diào)用的指標(biāo)水位。您自己的模型指標(biāo)水位以實際為準(zhǔn)。