Flink全托管資源管理
PAI新增了Flink全托管資源,您可以購買Flink全托管資源,并關(guān)聯(lián)到工作空間,用于PAI大規(guī)模分布式模型訓(xùn)練。本文為您介紹如何開通購買Flink全托管資源以及如何使用該資源進(jìn)行模型訓(xùn)練。
Flink全托管資源
阿里云實(shí)時(shí)計(jì)算Flink版是阿里云基于Apache Flink構(gòu)建的一站式實(shí)時(shí)大數(shù)據(jù)分析平臺,提供端到端亞秒級實(shí)時(shí)數(shù)據(jù)分析能力,有關(guān)Flink全托管資源的詳細(xì)信息請參見Flink全托管資源概述。
前提條件
在開始執(zhí)行操作之前,請確認(rèn)您已經(jīng)完成以下準(zhǔn)備工作:
購買Flink全托管資源需要使用阿里云賬號。如果您還沒有阿里云賬號,請先完成注冊,詳情請參見阿里云賬號注冊。
操作賬號和權(quán)限要求
阿里云主賬號(推薦):使用該賬號可完成所有操作,無需額外授權(quán)。
RAM用戶:
購買Flink全托管資源,需要為該RAM用戶授予
AliyunStreamFullAccess
權(quán)限,詳情請參見RAM授權(quán)。提交訓(xùn)練任務(wù)到Flink全托管資源,您需要在Flink開發(fā)控制臺的項(xiàng)目空間中為該RAM用戶添加owner角色,詳情請參見項(xiàng)目空間授權(quán)。
關(guān)聯(lián)Flink全托管資源到工作空間,需要在工作空間中為該RAM用戶添加管理員角色;在Designer中使用Flink全托管資源進(jìn)行模型訓(xùn)練,需要在工作空間中為該RAM用戶添加算法開發(fā)角色。具體操作,請參見管理成員。
購買Flink全托管資源
登錄PAI控制臺
在左側(cè)導(dǎo)航欄單擊 ,在資源配額頁面中單擊Flink全托管資源。
可選:在Flink全托管資源頁面中,單擊去開通。
說明如果您首次使用Flink全托管資源,則需要執(zhí)行該操作步驟,并參考開通實(shí)時(shí)計(jì)算Flink版購買Flink全托管資源。
如果您想購買更多Flink全托管資源,可以執(zhí)行后續(xù)操作步驟。
在Flink全托管頁面中,單擊資源管理。
在實(shí)時(shí)計(jì)算控制臺頁面,單擊立即購買,關(guān)于如何購買Flink全托管資源,詳情請參見開通實(shí)時(shí)計(jì)算Flink版。
購買成功后,在Flink全托管資源頁面中,您可以看到購買成功的Flink全托管資源以及其他關(guān)鍵信息。
關(guān)聯(lián)Flink全托管資源到工作空間
如果您需要在PAI中使用Flink全托管資源進(jìn)行計(jì)算,您可以通過以下兩種方式將已購買的Flink全托管資源關(guān)聯(lián)到工作空間。
創(chuàng)建工作空間時(shí),新增關(guān)聯(lián)資源組。關(guān)于如何關(guān)聯(lián)資源組,詳情請參見創(chuàng)建工作空間。
在已經(jīng)創(chuàng)建完成的工作空間中添加Flink計(jì)算資源,具體操作如下所示。
登錄PAI控制臺。
在左側(cè)導(dǎo)航欄單擊工作空間列表。在工作空間列表頁面中單擊待操作的工作空間名稱,進(jìn)入對應(yīng)工作空間。
在工作空間詳情頁面右側(cè),單擊資源管理,并按照界面操作指引關(guān)聯(lián)Flink全托管資源。具體操作,請參見管理工作空間計(jì)算資源。
在Designer中使用Flink全托管資源進(jìn)行模型訓(xùn)練
進(jìn)入關(guān)聯(lián)了Flink全托管資源的工作空間,并在Designer頁面創(chuàng)建空白工作流,詳情請參見新建自定義工作流。
在畫布中拖入支持在Flink全托管資源上運(yùn)行的組件,包括:
Alink框架的所有組件(不包括Beta組件),組件上有紫色標(biāo)識。
自定義算法組件(PyAlink腳本)。
在畫布右側(cè)工作流屬性頁簽,從Alink/FlinkML算法默認(rèn)執(zhí)行資源列表中選擇Flink。
重要如果Alink組件成組執(zhí)行,您需要同時(shí)將Alink組執(zhí)行資源類型切換到Flink,否則,執(zhí)行的資源類型為Alink組的默認(rèn)資源類型。關(guān)于如何設(shè)置Alink組資源類型,詳情請參見高級功能:Alink組件成組執(zhí)行。
運(yùn)行組件,支持以下幾種方式:
單獨(dú)運(yùn)行依賴Flink全托管資源的組件,以運(yùn)行PyAlink腳本組件為例,詳情請參見PyAlink腳本。
依賴Flink全托管資源的組件和依賴其他資源類型的組件串聯(lián)使用。以基于Alink框架的FM推薦為例,F(xiàn)M訓(xùn)練和FM預(yù)測組件依賴Flink全托管資源,二分類評估組件依賴MaxCompute計(jì)算資源。
批量運(yùn)行依賴Flink全托管資源的組件,詳情請參見高級功能:Alink組件成組執(zhí)行。
組件運(yùn)行完成后,右鍵單擊工作流中的組件,在快捷菜單中,單擊查看日志。
您也可以在日志框中單擊vvp日志鏈接,查看更詳細(xì)的計(jì)算信息。