高級(jí)配置:多規(guī)格實(shí)例選擇
在部署服務(wù)時(shí),只指定單一規(guī)格的計(jì)算資源,會(huì)出現(xiàn)由于該規(guī)格庫(kù)存不足導(dǎo)致服務(wù)長(zhǎng)時(shí)間無(wú)法拉起的情況。針對(duì)該問(wèn)題,EAS部署環(huán)節(jié)支持多規(guī)格實(shí)例選擇,通過(guò)遍歷配置文件中提供的規(guī)格列表來(lái)拉起資源,從而極大降低單一規(guī)格庫(kù)存不足帶來(lái)的部署風(fēng)險(xiǎn)。本文為您介紹多規(guī)格實(shí)例配置方法。
前提條件
如果您使用本地客戶端方式配置多規(guī)格實(shí)例,則需要完成以下操作:
已下載EASCMD客戶端并認(rèn)證成功,具體操作,請(qǐng)參見(jiàn)下載并認(rèn)證客戶端。
使用限制
僅支持部署在公共資源組上的EAS服務(wù)配置多規(guī)格實(shí)例。
部署服務(wù)時(shí)使用多規(guī)格實(shí)例
通過(guò)控制臺(tái)配置多規(guī)格實(shí)例
進(jìn)入新建服務(wù)頁(yè)面,詳情請(qǐng)參見(jiàn)服務(wù)部署:控制臺(tái)。
在新建服務(wù)頁(yè)面,配置以下關(guān)鍵參數(shù),其他參數(shù)配置詳情,請(qǐng)參見(jiàn)服務(wù)部署:控制臺(tái)。
參數(shù)
描述
資源組種類
選擇公共資源組。
資源配置方法
選擇性價(jià)比資源配置。
搶占型保留時(shí)長(zhǎng)
僅資源類型選擇搶占型時(shí),該配置生效。支持以下兩種配置方式:
設(shè)定實(shí)例使用1小時(shí):您可以為搶占型實(shí)例設(shè)置1小時(shí)保護(hù)期,即實(shí)例搶占成功后,默認(rèn)至少可以使用1小時(shí)。
無(wú)確定保護(hù)期:表示禁用保護(hù)期。不保證有固定時(shí)長(zhǎng)的保護(hù)期來(lái)保障資源的使用。
關(guān)于搶占型實(shí)例的詳細(xì)介紹,請(qǐng)參見(jiàn)高級(jí)配置:搶占型實(shí)例選擇。
部署資源
資源類型:支持搶占型和常規(guī)型。
機(jī)器型號(hào):選擇合適的機(jī)器型號(hào)。
出價(jià):僅搶占型資源需要設(shè)置出價(jià),系統(tǒng)根據(jù)出價(jià)來(lái)自動(dòng)競(jìng)價(jià)搶占資源。
如果搶占式資源實(shí)例庫(kù)存充足,且出價(jià)不低于當(dāng)前搶占式實(shí)例市場(chǎng)價(jià),可以使用搶占式實(shí)例。
配置多規(guī)格實(shí)例:
您可以單擊來(lái)配置多規(guī)格實(shí)例,最多支持添加5個(gè)資源類型。系統(tǒng)會(huì)按照配置規(guī)格的先后順序作為優(yōu)先級(jí)排序來(lái)拉起資源。
單擊部署。待服務(wù)狀態(tài)變?yōu)?b data-tag="uicontrol" id="cbd94000f9e73" class="uicontrol">運(yùn)行中時(shí),表明服務(wù)部署成功。
通過(guò)本地客戶端配置多規(guī)格實(shí)例
以Windows 64版本為例:
在客戶端文件所在目錄新建JSON格式的文件,命名為
service.json
,文件內(nèi)容示例如下。{ "name": "service_example", "model_path": "http://examplebucket.aliyuncs.com/models%2Fmnist_saved_model.tar.gz", "processor": "tensorflow_cpu_1.12", "metadata": { "instance": 1, } "cloud": { "computing": { "instances": [ {"type": "ecs.g7.2xlarge", "spot_price_limit": 2.00}, {"type": "ecs.g7.4xlarge", "spot_price_limit": 4.00}, {"type": "ecs.g7.2xlarge"}, {"type": "ecs.g7.4xlarge"} ], "disable_spot_protection_period": true } } }
其中關(guān)鍵參數(shù)說(shuō)明如下。其他參數(shù)說(shuō)明,詳情請(qǐng)參見(jiàn)命令使用說(shuō)明。
參數(shù)
描述
instance
服務(wù)啟動(dòng)的實(shí)例數(shù)量。上述JSON文件中表示啟動(dòng)1個(gè)實(shí)例。
instances
表示允許的實(shí)例規(guī)格,支持配置多個(gè)。當(dāng)實(shí)例規(guī)格競(jìng)價(jià)失敗或庫(kù)存不足時(shí),按照配置順序依次嘗試使用下一個(gè)實(shí)例規(guī)格創(chuàng)建服務(wù)。
type:表示配置的實(shí)例規(guī)格。
spot_price_limit為可選參數(shù):
當(dāng)配置該參數(shù)時(shí):表示對(duì)應(yīng)實(shí)例規(guī)格使用搶占式資源實(shí)例,并指明價(jià)格上限。單位為CNY,支持按量付費(fèi)。
當(dāng)不配置該參數(shù)時(shí):表示對(duì)應(yīng)實(shí)例規(guī)格為普通的按量付費(fèi)實(shí)例。
disable_spot_protection_period
支持以下取值:
false(默認(rèn)值):表示在搶占式資源實(shí)例創(chuàng)建成功后,默認(rèn)有1小時(shí)保護(hù)期。在保護(hù)期內(nèi)即使市場(chǎng)價(jià)格超過(guò)了出價(jià),實(shí)例也不會(huì)被釋放。
true:表示禁用保護(hù)期,無(wú)保護(hù)期實(shí)例會(huì)始終比有保護(hù)期實(shí)例優(yōu)惠10%左右。
打開(kāi)終端工具,在JSON文件所在目錄,使用以下命令創(chuàng)建服務(wù)。
eascmdwin64.exe create <service.json>
其中:<service.json>需要替換為您創(chuàng)建的JSON文件名稱。
部署服務(wù)后修改服務(wù)使用多規(guī)格實(shí)例
通過(guò)控制臺(tái)修改服務(wù)使用多規(guī)格實(shí)例
進(jìn)入模型在線服務(wù)(EAS)頁(yè)面。
登錄PAI控制臺(tái)。
在左側(cè)導(dǎo)航欄單擊工作空間列表,在工作空間列表頁(yè)面中單擊待操作的工作空間名稱,進(jìn)入對(duì)應(yīng)的工作空間。
在工作空間頁(yè)面的左側(cè)導(dǎo)航欄選擇 ,進(jìn)入模型在線服務(wù)(EAS)頁(yè)面。
選擇部署在公共資源組的服務(wù),單擊服務(wù)名稱,進(jìn)入服務(wù)詳情頁(yè)面。
在服務(wù)詳情頁(yè)面,單擊資源信息區(qū)域的資源配置。
在資源配置對(duì)話框性價(jià)比資源配置頁(yè)簽,配置部署資源為多個(gè)資源類型,更多參數(shù)配置詳情,請(qǐng)參見(jiàn)通過(guò)控制臺(tái)配置多規(guī)格實(shí)例。
單擊確定。
通過(guò)本地客戶端修改服務(wù)使用多規(guī)格實(shí)例
以Windows 64版本為例:
在客戶端文件所在目錄新建JSON格式的文件,命名為
instances.json
,文件內(nèi)容示例如下。{ "cloud": { "computing": { "instances": [ {"type": "ecs.g7.2xlarge", "spot_price_limit": 2.00}, {"type": "ecs.g7.4xlarge", "spot_price_limit": 4.00}, {"type": "ecs.g7.2xlarge"}, {"type": "ecs.g7.4xlarge"} ], "disable_spot_protection_period": true } } }
其中關(guān)鍵參數(shù)說(shuō)明,詳情請(qǐng)參見(jiàn)部署服務(wù)時(shí)使用搶占式實(shí)例。
使用以下命令修改服務(wù)使用多規(guī)格實(shí)例。
eascmd modify <service_name> -s instances.json
其中:<service_name>需要替換為EAS服務(wù)名稱。