使用EAIS推理TensorFlow模型
您可以在ECS實(shí)例(非GPU實(shí)例)上綁定一個(gè)彈性加速計(jì)算實(shí)例EAIS(EAIS可以為ECS實(shí)例提供GPU資源),即可生成一款新規(guī)格的GPU實(shí)例。相比直接購(gòu)買GPU實(shí)例,使用該方式可以為您靈活提供GPU資源并有效節(jié)省成本。如果您初次使用EAIS,可以通過本文內(nèi)容體驗(yàn)在ECS實(shí)例上使用EAIS推理TensorFlow模型的完整使用流程,幫助您快速上手EAIS。
背景信息
本教程將引導(dǎo)您創(chuàng)建一個(gè)華東1(杭州)地域、eais.ei-a6.2xlarge規(guī)格的EAIS實(shí)例,并以公開的resnet50模型、inception模型和bert-base模型為例,帶您體驗(yàn)基于目標(biāo)檢測(cè)的推理場(chǎng)景下,使用EAIS推理TensorFlow模型的完整操作流程。
步驟一:創(chuàng)建并綁定ECS實(shí)例和EAIS實(shí)例
創(chuàng)建ECS實(shí)例。
登錄并前往ECS實(shí)例創(chuàng)建頁。
創(chuàng)建一個(gè)專有網(wǎng)絡(luò)類型的ECS實(shí)例,來作為EAIS實(shí)例的綁定目標(biāo)。
具體操作,請(qǐng)參見實(shí)例創(chuàng)建方式介紹。
說明ECS實(shí)例的操作系統(tǒng)推薦使用Ubuntu 18.04。
創(chuàng)建EAIS實(shí)例。
登錄EAIS控制臺(tái)。
在左側(cè)導(dǎo)航欄,選擇彈性加速計(jì)算實(shí)例 EAIS > 彈性加速計(jì)算實(shí)例列表。
重要如果您的阿里云賬號(hào)未添加并授權(quán)AliyunServiceRoleForEais角色(角色權(quán)限策略為AliyunServiceRoleForEais),您需要先授權(quán)EAIS創(chuàng)建一個(gè)服務(wù)關(guān)聯(lián)角色后,再創(chuàng)建EAIS實(shí)例。具體操作,請(qǐng)參見服務(wù)關(guān)聯(lián)角色。
單擊創(chuàng)建彈性加速計(jì)算實(shí)例。
在EAIS實(shí)例購(gòu)買頁面,配置EAIS實(shí)例參數(shù),然后單擊立即購(gòu)買。
配置項(xiàng)說明如下:
配置項(xiàng)
配置示例
地域
華東1(杭州)
實(shí)例名稱
eais_test
實(shí)例規(guī)格
eais.ei-a6.2xlarge
專有網(wǎng)絡(luò)
eais-vpc
交換機(jī)
eais-vswitch
安全組
eais-securitygroup
資源組
默認(rèn)資源組
在確認(rèn)訂單頁面,選中服務(wù)協(xié)議右側(cè)的我已閱讀并同意彈性加速計(jì)算實(shí)例服務(wù)協(xié)議,然后單擊立即開通。
綁定EAIS實(shí)例至ECS實(shí)例。
單擊管理控制臺(tái),前往EAIS控制臺(tái)。
在EAIS實(shí)例列表中,單擊實(shí)例
eais_test
所在操作列下的綁定。在對(duì)話框中,選擇待綁定的ECS實(shí)例。
單擊確定。
EAIS實(shí)例列表每15秒自動(dòng)刷新,當(dāng)EAIS實(shí)例狀態(tài)由綁定中變?yōu)?b data-tag="uicontrol" id="fec77329c7vq1" class="uicontrol">已綁定時(shí),表示EAIS實(shí)例綁定成功。
重要一個(gè)EAIS實(shí)例僅支持綁定一個(gè)ECS實(shí)例,一個(gè)ECS實(shí)例僅支持綁定一個(gè)EAIS實(shí)例。更多信息,請(qǐng)參見使用限制。
步驟二:?jiǎn)?dòng)EAIS實(shí)例
僅使用EAIS控制臺(tái)和調(diào)用CreateEaisEi創(chuàng)建的EAIS實(shí)例需要執(zhí)行本操作。
在EAIS實(shí)例列表中,單擊實(shí)例
eais_test
所在操作列下的啟動(dòng)。在啟動(dòng)實(shí)例對(duì)話框中,單擊確定。
EAIS實(shí)例列表每15秒自動(dòng)刷新,當(dāng)EAIS實(shí)例狀態(tài)由已綁定變?yōu)?b data-tag="uicontrol" id="83f70b850c25p" class="uicontrol">使用中時(shí),表示EAIS實(shí)例啟動(dòng)成功。
步驟三:登錄ECS實(shí)例
登錄EAIS控制臺(tái)。
在EAIS實(shí)例列表中,單擊實(shí)例
eais_test
綁定的ECS實(shí)例ID,進(jìn)入該ECS實(shí)例詳情頁。遠(yuǎn)程登錄ECS實(shí)例。
具體操作,請(qǐng)參見連接方式概述。
步驟四:搭建運(yùn)行環(huán)境
執(zhí)行如下命令,將pip軟件升級(jí)至最新版本。
python3 -m pip install --upgrade pip
執(zhí)行如下命令,安裝TensorFlow。
以TensorFlow版本為1.15.5為例。
pip3 install tensorflow==1.15.5
執(zhí)行如下命令,安裝EAIS TensorFlow。
pip3 install eais_tensorflow -f https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/index.html
執(zhí)行如下命令,下載模型軟件包。
wget https://aiacc-inference-public.oss-cn-beijing.aliyuncs.com/eais/packages/eais2_example.tar
執(zhí)行如下命令,解壓軟件包。
tar xvf eais2_example.tar
(可選)步驟五:查看EAIS相關(guān)信息
如果您想查看EAIS相關(guān)信息,只需在搭建完畢的運(yùn)行環(huán)境中,執(zhí)行eais_smi
命令,即可在回顯中查看EAIS實(shí)例規(guī)格、EAIS GPU使用率等信息,回顯示例如下。
步驟六:推理TensorFlow模型
執(zhí)行如下命令,使用EAIS推理resnet50模型。
回顯信息如下。
執(zhí)行如下命令,使用EAIS推理inception模型。
以inception V4模型為例。
pushd eais2_example/inception python3 inception.py popd
回顯信息如下。
執(zhí)行如下命令,使用EAIS推理bert-base模型。
回顯信息如下。
pushd eais2_example/resnet50
python3 resnet50.py
popd
pushd eais2_example/bert
python3 bert_infer.py
popd
(可選)步驟七:停止EAIS實(shí)例
當(dāng)您暫時(shí)不需要EAIS提供的GPU能力時(shí),您可以停止EAIS實(shí)例。
僅使用EAIS控制臺(tái)和調(diào)用CreateEaisEi創(chuàng)建的EAIS實(shí)例支持執(zhí)行本操作。
登錄EAIS控制臺(tái)。
在EAIS實(shí)例列表中,單擊實(shí)例
eais_test
所在操作列下的停止。在停止實(shí)例對(duì)話框中,單擊確定。
EAIS實(shí)例列表每15秒自動(dòng)刷新,當(dāng)EAIS實(shí)例狀態(tài)由使用中變?yōu)?b data-tag="uicontrol" id="81c9c52634pmg" class="uicontrol">已綁定時(shí),表示EAIS實(shí)例已停止。
(可選)步驟八:解綁并釋放EAIS實(shí)例
完成推理后,如果您需要將該EAIS實(shí)例綁定至其他ECS實(shí)例,您可以將該EAIS實(shí)例從ECS實(shí)例上解綁后,再重新綁定至其他ECS實(shí)例。如果您不再需要使用該EAIS實(shí)例,則您需要將該EAIS實(shí)例從ECS實(shí)例上解綁后,才能釋放該EAIS實(shí)例。解綁和釋放EAIS實(shí)例的具體操作如下:
登錄EAIS控制臺(tái)。
將EAIS實(shí)例從ECS實(shí)例上解綁。
在EAIS實(shí)例列表中,單擊實(shí)例
eais_test
所在操作列下的解綁。在解綁ECS實(shí)例對(duì)話框中,單擊確定。
EAIS實(shí)例列表每15秒自動(dòng)刷新,當(dāng)EAIS實(shí)例狀態(tài)變從已綁定變?yōu)?b data-tag="uicontrol" id="fec884a0c7eem" class="uicontrol">可綁定時(shí),表示EAIS實(shí)例解綁成功。
將已解綁的EAIS實(shí)例釋放。
在EAIS實(shí)例列表中,單擊實(shí)例
eais_test
所在操作列下的釋放資源。在釋放資源對(duì)話框中,單擊確定。
EAIS實(shí)例將從EAIS實(shí)例列表中刪除。
相關(guān)文檔
您也可以體驗(yàn)EAIS推理PyTorch模型的完整使用流程,幫助您快速上手EAIS,具體操作,請(qǐng)參見使用EAIS推理PyTorch模型(Python)或使用EAIS推理PyTorch模型(C++)。更多EAIS實(shí)例使用方法,請(qǐng)參見使用EAIS實(shí)例或實(shí)踐教程。