管理資源隊(duì)列
每個(gè)Flink項(xiàng)目空間都會(huì)有一個(gè)默認(rèn)隊(duì)列(default-queue)來(lái)承載作業(yè)的運(yùn)行。如果您有資源隔離和管理的需求,可以通過(guò)添加資源隊(duì)列的方式實(shí)現(xiàn)。本文為您介紹如何添加、修改和刪除資源隊(duì)列。
使用場(chǎng)景及方式
對(duì)于有資源隔離和管理需求的批作業(yè)場(chǎng)景,配置資源隊(duì)列可以實(shí)現(xiàn)批作業(yè)資源的有效管理,避免單一任務(wù)或用戶過(guò)度占用資源,造成其他任務(wù)或用戶無(wú)法獲得足夠資源而任務(wù)失敗的情況發(fā)生。同時(shí),通過(guò)將批作業(yè)部署到指定資源隊(duì)列,并配合任務(wù)編排功能確定調(diào)度優(yōu)先級(jí),可以確保關(guān)鍵或重要作業(yè)獲得更高的處理優(yōu)先級(jí)和更多的資源,從而提高系統(tǒng)性能和資源利用率。
您可以通過(guò)以下方式使用資源隊(duì)列:
部署作業(yè)時(shí),部署目標(biāo)選擇為目標(biāo)資源隊(duì)列,詳情請(qǐng)參見(jiàn)部署作業(yè)。
說(shuō)明如果您沒(méi)有添加新的資源隊(duì)列,則默認(rèn)會(huì)使用default-queue來(lái)部署并運(yùn)行作業(yè)。
創(chuàng)建Session集群時(shí),部署目標(biāo)選擇為目標(biāo)資源隊(duì)列,詳情請(qǐng)參見(jiàn)步驟一:創(chuàng)建Session集群。
創(chuàng)建工作流時(shí)設(shè)置目標(biāo)資源隊(duì)列,詳情請(qǐng)參見(jiàn)管理工作流。
使用限制
目前僅支持獨(dú)享模式,暫不支持搶占模式。即資源隊(duì)列的任務(wù)資源不會(huì)被搶占,使用完成釋放資源后,對(duì)應(yīng)的資源才可以被新的任務(wù)使用。
添加資源隊(duì)列
您可以通過(guò)添加資源隊(duì)列來(lái)實(shí)現(xiàn)對(duì)資源的隔離和管理。不添加新的資源隊(duì)列,則默認(rèn)會(huì)使用default-queue來(lái)承載作業(yè)的運(yùn)行。
單擊目標(biāo)工作空間操作列下的控制臺(tái)。
在左側(cè)導(dǎo)航欄,單擊
。單擊添加隊(duì)列。
填寫隊(duì)列名稱和資源量。
調(diào)整其他隊(duì)列資源量,詳情請(qǐng)參見(jiàn)修改資源量。
對(duì)項(xiàng)目空間資源進(jìn)行擴(kuò)容,詳情請(qǐng)參見(jiàn)資源調(diào)整。
單擊確定。
配置 | 說(shuō)明 |
隊(duì)列名稱 | 隊(duì)列名稱不可重復(fù),只允許小寫字母、數(shù)字和中劃線(-) 且長(zhǎng)度不超過(guò)32位。 說(shuō)明 資源隊(duì)列添加成功后,不可修改資源隊(duì)列名稱。 |
資源量(CU) | 允許配置的資源量上限由該項(xiàng)目空間剩余的可用資源量決定。如果項(xiàng)目空間可用資源量不足,則可以通過(guò)如下方式進(jìn)行調(diào)整: |
修改資源量
單擊目標(biāo)工作空間操作列下的控制臺(tái)。
在左側(cè)導(dǎo)航欄,單擊
。單擊編輯隊(duì)列后,填寫資源量。
說(shuō)明修改資源隊(duì)列時(shí),資源量的填寫說(shuō)明請(qǐng)參見(jiàn)添加資源隊(duì)列。
最小資源量不能小于當(dāng)前隊(duì)列已使用資源量。
單擊確定。
刪除資源隊(duì)列
不支持刪除default-queue。
如果隊(duì)列上存在已部署且運(yùn)行的作業(yè)時(shí),則無(wú)法刪除。
隊(duì)列刪除后,已部署在該隊(duì)列上的作業(yè)重新啟動(dòng)時(shí)會(huì)報(bào)錯(cuò)。
單擊目標(biāo)工作空間操作列下的控制臺(tái)。
在左側(cè)導(dǎo)航欄,單擊
。單擊刪除隊(duì)列。
單擊確定。
相關(guān)文檔
項(xiàng)目空間資源變配或配額上限調(diào)整,請(qǐng)參見(jiàn)資源調(diào)整。
SQL作業(yè)、JAR作業(yè)和Python作業(yè)部署操作,請(qǐng)參見(jiàn)部署作業(yè)。
Session集群創(chuàng)建操作,請(qǐng)參見(jiàn)步驟一:創(chuàng)建Session集群。
使用任務(wù)編排功能可以編排批作業(yè)運(yùn)行的順序,詳情請(qǐng)參見(jiàn)任務(wù)編排(公測(cè))。