計(jì)算資源-Quota管理
Quota管理是為您在MaxCompute管理控制臺提供計(jì)算資源消耗查看、調(diào)整、增刪改查等涉及日常資源管理運(yùn)維的功能模塊。本文為您介紹Quota管理提供的各種能力。
背景信息
MaxCompute Quota作為計(jì)算資源的單元,為MaxCompute SQL、MapReduce、Spark、Mars、PAI等計(jì)算作業(yè)提供所需計(jì)算資源(CPU及內(nèi)存)。MaxCompute Quota分為一級和二級Quota,一級Quota之間相互獨(dú)立;二級Quota從屬于一級Quota,二級Quota之間資源支持共享。一級Quota作為二級的統(tǒng)管Quota不可直接被使用,需要通過使用二級Quota來使用對應(yīng)的CU資源。
MaxCompute計(jì)算資源單位為CU(即Quota內(nèi)的對象)。您可購買的Quota包含的CU分為包年包月和按量付費(fèi)兩種模式,分別對應(yīng)包年包月規(guī)格類型和按量付費(fèi)規(guī)格類型,更多規(guī)格信息,請參見規(guī)格概述。
包年包月Quota是通過按月購買預(yù)留CU后系統(tǒng)創(chuàng)建分配的獨(dú)占Quota,使用時(shí)可按需在包月CU基礎(chǔ)上按時(shí)預(yù)購彈性預(yù)留CU(按購買量和時(shí)長后付費(fèi))。作業(yè)在包年包月Quota內(nèi)運(yùn)行時(shí)最大只能使用該Quota CU購買量,可以在一級Quota內(nèi)自定義二級Quota進(jìn)行CU分配。
按量付費(fèi)Quota是在通過開通按量付費(fèi)服務(wù)時(shí),系統(tǒng)分配可使用的公共二級Quota,不可自行控制CU量以及進(jìn)行二次分配。
您可以選擇使用按量付費(fèi)Quota,也可以選擇包年包月Quota,包年包月Quota支持通過控制CU量來控制預(yù)算,而按量付費(fèi)Quota不可自行控制CU量。
查看Quota
登錄MaxCompute控制臺,在左上角選擇地域。
在左側(cè)導(dǎo)航欄,選擇工作區(qū) > 配額(Quota)管理。
在Quota管理頁面,查看可使用的Quota列表。
列表為樹狀方式顯示一、二級包年包月Quota,以及默認(rèn)按量付費(fèi)Quota。默認(rèn)主賬號及其子賬號都可查看此列表。
包年包月Quota:單擊一級Quota左側(cè)的圖標(biāo)可以展開二級Quota列表,同時(shí)展示二級Quota當(dāng)前生效的配置信息。購買包年包月資源后,系統(tǒng)默認(rèn)創(chuàng)建分配一級Quota以及名稱為
默認(rèn)預(yù)付費(fèi)Quota
的二級Quota。按量付費(fèi)Quota:單擊一級Quota左側(cè)的圖標(biāo)可以展開二級Quota列表。開通按量付費(fèi)標(biāo)準(zhǔn)版后,系統(tǒng)默認(rèn)創(chuàng)建分配一級Quota
默認(rèn)后付費(fèi)Quota_p
以及二級Quota默認(rèn)后付費(fèi)Quota
。說明部分按量付費(fèi)標(biāo)準(zhǔn)版的默認(rèn)二級Quota名稱為
aliyun_nick
。海外地域可能出現(xiàn)按量付費(fèi)標(biāo)準(zhǔn)版的默認(rèn)一級Quota名稱無法正確展示的情況,但不影響對二級Quota的使用。
配置Quota
可以對已經(jīng)購買的包年包月Quota進(jìn)行二次拆分定義,默認(rèn)阿里云賬號具有權(quán)限,RAM賬號可以通過授權(quán)獲得配置權(quán)限,詳情請參見RAM權(quán)限。配置Quota主要由以下兩部分組成。
基礎(chǔ)配置:即二級Quota的新增或刪除,基礎(chǔ)參數(shù)的配置(包括是否獨(dú)占、單作業(yè)CU上限、開啟優(yōu)先級、非預(yù)留CU、調(diào)度策略),預(yù)留CU和彈性預(yù)留CU配置(僅作用于當(dāng)前生效的配置方案)。若沒有分時(shí)伸縮場景需求,通過此配置即可滿足Quota的管理。
伸縮配置:分時(shí)伸縮配置,實(shí)現(xiàn)對Quota在不同時(shí)段設(shè)置不同的Min/Max 預(yù)留CU量或彈性預(yù)留CU。
詳細(xì)操作如下:
登錄MaxCompute控制臺,在左上角選擇地域。
在左側(cè)導(dǎo)航欄,選擇工作區(qū) > 配額(Quota)管理。
在Quota管理頁面,單擊需要配置的一級Quota操作列的Quota配置。
Quota基礎(chǔ)配置。
在Quota配置頁面的基礎(chǔ)配置頁簽,單擊編輯基礎(chǔ)配置,新增二級Quota并配置基礎(chǔ)參數(shù)(包括是否獨(dú)占、單作業(yè)CU上限、開啟優(yōu)先級、非預(yù)留CU、調(diào)度策略)。
您也可以在基礎(chǔ)配置頁簽,通過單擊目標(biāo)Quota操作列的刪除,刪除二級Quota。
說明刪除二級Quota后,此二級Quota將在所有的Quota資源配置方案里被刪除,對應(yīng)的minCU量和彈性預(yù)留CU量將加到默認(rèn)二級Quota中,如需要調(diào)整請編輯更新伸縮配置頁簽中的各個(gè)配置方案。
單擊編輯基礎(chǔ)配置,對二級Quota的參數(shù)進(jìn)行如下配置:
參數(shù)
說明
Quota名稱
新增二級Quota。
單擊新增二級Quota后,填寫Quota名稱,并選擇類型。Quota名稱請自定義輸入,需以字母開頭,包含字母、數(shù)字和下劃線。
類型
類型包含如下兩種類型,請根據(jù)實(shí)際情況進(jìn)行選擇。
批處理:用來跑批作業(yè)的Quota。
交互式:專用于跑查詢加速(MCQA)作業(yè)的Quota,無需配置為項(xiàng)目的默認(rèn)計(jì)算Quota,當(dāng)Project默認(rèn)計(jì)算Quota為包年包月的批處理Quota時(shí),一旦發(fā)起的作業(yè)命中查詢加速,會自動(dòng)調(diào)度到交互式Quota里執(zhí)行。如果有多個(gè)交互式Quota,MCQA作業(yè)默認(rèn)調(diào)度到最早創(chuàng)建的交互式Quota里執(zhí)行,因此需要結(jié)合Quota規(guī)則,可以實(shí)現(xiàn)不同Project發(fā)起的MCQA作業(yè)調(diào)度到不同的交互式Quota里執(zhí)行,Quota規(guī)則詳情請參見Quota規(guī)則。
預(yù)留CU量[minCU,maxCU]
包月預(yù)留CU量。一級Quota的預(yù)留CU量即為購買的包月CU量(minCU=maxCU),需要擴(kuò)、縮容只能通過升級、降配方式實(shí)現(xiàn),在此不可編輯。二級Quota的minCU和maxCU定義如下:
minCU為保障值,maxCU為上限,當(dāng)maxCU>minCU時(shí),二級Quota之間為共享模式,如CU請求量大于min值,其他Quota空閑且非獨(dú)占的情況下會被搶占。
minCU總和等于一級Quota的minCU量。
minCU小于等于max CU小于等于一級Quota購買的minCU量。
說明minCU暫時(shí)不可配置為0。
默認(rèn)二級Quota的minCU和maxCU不可編輯,minCU量為一級minCU量減去自定義二級Quota的minCU量的總和,maxCU值與一級Quota的maxCU量相等。
對于新增的Quota,若存在多個(gè)伸縮配置方案,新增成功后,該Quota將加入到所有配置方案中,除當(dāng)前生效的配置方案外,其他方案中默認(rèn)預(yù)留minCU都為1(從二級默認(rèn)預(yù)付費(fèi)Quota里扣減),因此若需要調(diào)整CU量,請?jiān)?b data-tag="uicontrol" id="854f7aa02cz9y" class="uicontrol">伸縮配置頁簽對各個(gè)配置方案進(jìn)行編輯更新。
重要對于新增Quota,此配置僅作用于當(dāng)前生效的配置方案。
預(yù)留彈性CU
按時(shí)預(yù)購的預(yù)留彈性CU量。
一級Quota的預(yù)留彈性CU量即為需要預(yù)購的CU量,默認(rèn)為0,最大能設(shè)置的量為對應(yīng)Quota所購買的包年包月預(yù)留CU量,且不超過10000 CU;同時(shí)受庫存限制,即配置擴(kuò)容時(shí)會進(jìn)行庫存校驗(yàn)。配置的擴(kuò)容量至少為50 CU,或以50的倍數(shù)增加。
二級quota的預(yù)留彈性CU量定義如下:
預(yù)留彈性CU總和為一級Quota的預(yù)留彈性CU量。
默認(rèn)二級Quota的預(yù)留彈性CU不可編輯,預(yù)留彈性CU量為一級Quota預(yù)留彈性CU量減去自定義二級Quota的預(yù)留彈性CU量。
對于新增的Quota,若有多個(gè)伸縮配置方案,新增成功后,該Quota將加入到所有配置方案中,除當(dāng)前生效的配置方案外,其他方案中默認(rèn)彈性預(yù)留CU都為0,因此若需要調(diào)整CU量,請?jiān)?b data-tag="uicontrol" id="0aea5a1895t79" class="uicontrol">伸縮配置頁簽對各個(gè)配置方案進(jìn)行編輯更新。
重要對于新增Quota,此配置僅作用于當(dāng)前生效的配置方案。
是否獨(dú)占
是否強(qiáng)獨(dú)占Quota,即Quota的CU即使空閑也不被其他配額組占用。僅二級Quota可配置,當(dāng)二級Quota類型為交互式時(shí),此參數(shù)默認(rèn)為獨(dú)占且不可修改。
適用于跑BI或ALGO等業(yè)務(wù)的配額組因隨時(shí)都可能使用,需防止被其他Quota占用長時(shí)間不釋放(當(dāng)Quota的max值>min值時(shí)有可能會去占用其他空閑的Quota)。
單作業(yè)CU上限
對在此Quota內(nèi)執(zhí)行的作業(yè)設(shè)置CU并發(fā)上限,為空表示不限制,為
0
表示絕對限制,可輸入正整數(shù)進(jìn)行合理設(shè)置。當(dāng)二級Quota類型為交互式時(shí),此參數(shù)默認(rèn)不可用。適用于防止單作業(yè)長時(shí)間占用大量CU導(dǎo)致其他作業(yè)等待資源。同時(shí)支持作業(yè)級別進(jìn)行限制,在執(zhí)行的代碼前使用
set odps.task.max.concurrent.cu=<CU量>;
命令進(jìn)行設(shè)置,作業(yè)級別的配置優(yōu)先級高于Quota級別的配置。開啟優(yōu)先級
優(yōu)先級功能,詳情請參見作業(yè)優(yōu)先級。在此Quota上執(zhí)行的作業(yè)將優(yōu)先執(zhí)行,或者Project級別開啟也同樣生效。當(dāng)二級Quota類型為交互式時(shí),此參數(shù)默認(rèn)不可用。
非預(yù)留CU
包月非預(yù)留CU量。
一級Quota的非預(yù)留CU量即為購買包月非預(yù)留CU量,需要擴(kuò)、縮容只能通過升級、降配方式實(shí)現(xiàn)(當(dāng)前庫存緊張無法擴(kuò)容),在此不可編輯。
二級Quota的非預(yù)留CU定義如下。
二級Quota的非預(yù)留CU總和為一級Quota的非預(yù)留CU量。
默認(rèn)二級Quota的非預(yù)留CU不可編輯,非預(yù)留CU量為一級Quota的非預(yù)留CU量減去自定義二級Quota的非預(yù)留CU量。
調(diào)度策略
MaxCompute二級Quota調(diào)度策略包含F(xiàn)AIR、FIFO。
FAIR(公平調(diào)度)
對于作業(yè)優(yōu)先級相同的場景,資源將平均分配至同一時(shí)間提交的所有作業(yè)。
對于作業(yè)優(yōu)先級不同的場景,資源優(yōu)先平均分配給優(yōu)先級較高的作業(yè),若有剩余,再平均分配給優(yōu)先級較低的作業(yè)。
FIFO(先進(jìn)先出)
對于作業(yè)優(yōu)先級相同的場景,資源將優(yōu)先分配至先提交的作業(yè)。
對于作業(yè)優(yōu)先級不同的場景,即使優(yōu)先級高的作業(yè)提交時(shí)間晚于優(yōu)先級低的作業(yè),資源也將優(yōu)先分配至高優(yōu)先級作業(yè)。
您需要根據(jù)業(yè)務(wù)情況選擇合適的調(diào)度策略(暫不支持類型為交互式的二級Quota設(shè)置調(diào)度策略),更多介紹請參見計(jì)算資源-Quota調(diào)度策略說明。
重要自2023年5月24日起,華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)地域新建的二級Quota調(diào)度策略默認(rèn)值為FIFO。以上地域在此時(shí)間之前創(chuàng)建的二級Quota調(diào)度策略默認(rèn)值為FAIR。詳情請參見公告。
單擊確定。
Quota伸縮配置。
購買包年包月MaxCompute項(xiàng)目后,每個(gè)一級Quota都會有一個(gè)名稱為
Default
的默認(rèn)資源配置方案。每個(gè)資源配置方案包含一級Quota及其下所有二級Quota的預(yù)留CU和彈性預(yù)留CU配置,多個(gè)配置方案結(jié)合分時(shí)管理,常用于一天內(nèi)不同時(shí)段有不同配置的場景,例如,在每天00:00~08:00和08:00~24:00兩個(gè)時(shí)段,二級Quota的CU量需求不同,則可以配置兩個(gè)Quota配置方案,通過分時(shí)管理進(jìn)行調(diào)度。說明支持添加多個(gè)資源配置方案,最多為48個(gè),每個(gè)方案配置不同,以便每日不同時(shí)段啟用相應(yīng)的方案。
在Quota配置頁面的伸縮配置頁簽,單擊新增配置方案。
在新增配置方案頁面,配置Quota的如下參數(shù)。
參數(shù)
說明
預(yù)留CU量[minCU,maxCU]
包月預(yù)留CU量。一級Quota的預(yù)留CU量即為購買的包月CU量(minCU=maxCU),需要擴(kuò)、縮容只能通過升級、降配方式實(shí)現(xiàn),在此不可編輯。二級Quota的minCU和maxCU定義如下:
minCU為保障值,maxCU為上限,當(dāng)maxCU>minCU時(shí),二級Quota之間為共享模式,如CU請求量大于min值,其他Quota空閑且非獨(dú)占的情況下會被搶占。
minCU總和等于一級Quota的minCU量。
minCU小于等于max CU小于等于一級Quota購買的minCU量。
說明minCU暫時(shí)不可配置為0。
默認(rèn)二級Quota的minCU和maxCU不可編輯,minCU量為一級minCU量減去自定義二級Quota的minCU量的總和,maxCU值與一級Quota的maxCU量相等。
預(yù)留彈性CU
按時(shí)預(yù)購的預(yù)留彈性CU量。
一級Quota的預(yù)留彈性CU量即為需要預(yù)購的CU量,默認(rèn)為0,最大能設(shè)置的量為對應(yīng)Quota所購買的包年包月預(yù)留CU量,且不超過10000 CU;同時(shí)受庫存限制,即配置擴(kuò)容時(shí)會進(jìn)行庫存校驗(yàn)。配置的擴(kuò)容量至少為50 CU,或以50的倍數(shù)增加。
二級quota的預(yù)留彈性CU量定義如下:
預(yù)留彈性CU總和為一級Quota的預(yù)留彈性CU量。
默認(rèn)二級Quota的預(yù)留彈性CU不可編輯,預(yù)留彈性CU量為一級Quota預(yù)留彈性CU量減去自定義二級Quota的預(yù)留彈性CU量。
單擊確定,完成新增配置方案。
在伸縮配置頁簽,單擊新增配置方案操作列的立即生效,可使新增的方案立即生效。您也可以后續(xù)的分時(shí)管理中配置使用新方案。
(可選)資源配置方案的其他相關(guān)操作如下:
查看配置方案:單擊配置方案名稱左側(cè)的圖標(biāo),展開方案詳情,查看各方案的具體信息。
編輯配置方案:單擊目標(biāo)配置方案操作列的編輯,對該方案進(jìn)行更新,若該方案為當(dāng)前生效方案,則編輯成功后,還需要單擊操作列的立即生效才能啟用最新的配置。
說明任意配置方案均可操作立即生效,但需注意若已設(shè)置分時(shí)管理調(diào)度,則會被下一個(gè)分時(shí)覆蓋。因此如果想固定手動(dòng)生效某個(gè)方案,需要清除其他所有分時(shí)設(shè)置,只保留該手動(dòng)生效的方案,以確保當(dāng)前操作能夠立即生效而不被覆蓋。
刪除配置方案:在Quota伸縮配置頁簽,單擊目標(biāo)配置方案操作列的刪除,即可刪除配置方案。
說明Default方案和當(dāng)前生效的方案不可刪除。
克隆配置方案:在Quota伸縮配置頁簽,單擊目標(biāo)配置方案操作列的 > 克隆(Default方案可直接單擊克隆),即可克隆出一個(gè)新方案。
分時(shí)管理。
您可設(shè)置每日不同時(shí)間點(diǎn)啟用不同的Quota配置方案,以此實(shí)現(xiàn)對Quota配置的分時(shí)管理。
說明分時(shí)調(diào)度會有一定的延遲,預(yù)計(jì)延遲時(shí)間為5分鐘以內(nèi)。
在Quota配置頁面的伸縮配置頁簽,單擊分時(shí)管理區(qū)域的編輯時(shí)間計(jì)劃。
單擊新增生效時(shí)間段,選擇生效開始時(shí)間和配置方案計(jì)劃。
時(shí)間計(jì)劃整體只有一份,默認(rèn)運(yùn)行時(shí)間為00:00(不可修改和刪除),對應(yīng)啟用配置方案是Default(可修改)。如果沒有增加運(yùn)行時(shí)間,則代表全天都是啟用同一個(gè)配置方案。
支持整點(diǎn)和半點(diǎn)啟用不同的配置方案,一個(gè)配置方案可以被重復(fù)啟用。
分時(shí)伸縮預(yù)覽,選擇某個(gè)二級Quota以查看各個(gè)時(shí)段的CU分配趨勢圖。
伸縮配置全局視圖:以全局視圖表格方式展示所有配置方案明細(xì),查看所有Quota的Min/Max 預(yù)留CU量和彈性預(yù)留CU在各個(gè)分時(shí)時(shí)段的配置。
查看Quota消耗
可以查看一級Quota內(nèi)CU資源的消耗情況。
默認(rèn)主賬號及其子賬號都可查看。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側(cè)導(dǎo)航欄,選擇工作區(qū) > 配額(Quota)管理。
在Quota管理頁面,單擊目標(biāo)一級Quota操作列的資源消耗。
在資源消耗頁面,可查看CPU資源消耗趨勢圖和Quota以及關(guān)聯(lián)的Project列表。
CPU資源消耗趨勢圖:支持選擇不同二級Quota和時(shí)間段查看各類CU使用量趨勢。單擊某個(gè)時(shí)間點(diǎn),可以進(jìn)入該時(shí)刻對應(yīng)的作業(yè)快照列表。
Quota以及關(guān)聯(lián)的Project列表:可查看對應(yīng)二級Quota都被哪些Project定義為默認(rèn)計(jì)算Quota。
Quota規(guī)則
MaxCompute支持對Quota配置規(guī)則條件,指定滿足某些條件的作業(yè)可以被調(diào)度到對應(yīng)的Quota里執(zhí)行。Quota規(guī)則詳情請參見Quota規(guī)則。
Quota標(biāo)簽管理
MaxCompute支持您為一級包年包月Quota綁定或解綁標(biāo)簽,標(biāo)簽的詳細(xì)用法及使用限制請參見標(biāo)簽概述。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側(cè)導(dǎo)航欄,選擇工作區(qū) > 配額(Quota)管理。
創(chuàng)建標(biāo)簽。
創(chuàng)建單個(gè)一級Quota的標(biāo)簽。
將鼠標(biāo)懸浮于目標(biāo)一級Quota標(biāo)簽列的圖標(biāo)上,單擊綁定/編輯。
在編輯標(biāo)簽對話框中,輸入標(biāo)簽鍵和標(biāo)簽值。
單擊確定,并在標(biāo)簽編輯成功對話框中單擊關(guān)閉。
批量創(chuàng)建多個(gè)一級Quota的標(biāo)簽。
選中要批量添加標(biāo)簽的一級Quota,單擊頁面底部的批量打標(biāo)。
在編輯標(biāo)簽對話框中,輸入標(biāo)簽鍵和標(biāo)簽值。
單擊確定,并在標(biāo)簽編輯成功對話框中單擊關(guān)閉。
標(biāo)簽篩選。
一級Quota綁定標(biāo)簽后,您可以單擊標(biāo)簽篩選,根據(jù)標(biāo)簽的鍵和值篩選Quota。
(可選)解綁標(biāo)簽。
解綁單個(gè)一級Quota的標(biāo)簽。
將鼠標(biāo)懸浮于目標(biāo)一級Quota標(biāo)簽列的圖標(biāo)上,單擊編輯。
在編輯標(biāo)簽對話框中,單擊要解綁標(biāo)簽后的圖標(biāo)。
單擊確定,并在標(biāo)簽編輯成功對話框中單擊關(guān)閉。
批量解綁多個(gè)一級Quota的標(biāo)簽。
選中要批量解綁標(biāo)簽的一級Quota,單擊頁面底部的批量刪除標(biāo)簽。
在批量解綁標(biāo)簽對話框中,勾選需要解綁的標(biāo)簽。
單擊解綁x個(gè)標(biāo)簽(x為具體的解綁標(biāo)簽數(shù)),并在標(biāo)簽編輯成功對話框中單擊關(guān)閉。
分時(shí)配置
限制與說明
同一預(yù)留Quota資源組,最多支持48個(gè)分時(shí)區(qū)間,單個(gè)分時(shí)區(qū)間的最短時(shí)長為30分鐘。
當(dāng)前數(shù)據(jù)傳輸服務(wù)進(jìn)行分時(shí)配置后,如果需要對數(shù)據(jù)傳輸服務(wù)(包年包月)做降配操作,請先調(diào)低分時(shí)并發(fā)數(shù)。
分時(shí)配置生效時(shí)間為0~5分鐘,且計(jì)費(fèi)會按照實(shí)際生效時(shí)間開始計(jì)算。
操作步驟
可以配置數(shù)據(jù)傳輸服務(wù)獨(dú)享資源組的按時(shí)計(jì)費(fèi)。
默認(rèn)主賬號及其子賬號都可以查看。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側(cè)導(dǎo)航欄,選擇工作區(qū) > 配額(Quota)管理。
在Quota管理頁面,單擊Quota類型為數(shù)據(jù)傳輸服務(wù)對應(yīng)操作列的分時(shí)配置。
在分時(shí)配置頁面,可配置彈性按時(shí)計(jì)費(fèi)的并發(fā)數(shù):
選擇時(shí)間軸上的時(shí)間段,在自動(dòng)彈出的并發(fā)數(shù)彈框中輸入分時(shí)并發(fā)數(shù)。分時(shí)并發(fā)數(shù)不能超過預(yù)留并發(fā)數(shù)。
單擊確定,完成分時(shí)配置,此時(shí)會在頁面下方表格中顯示分時(shí)區(qū)間段的配置信息,同時(shí)您也可以單擊取消放棄當(dāng)前配置,單擊刪除移除已經(jīng)完成的配置。