開通DataWorks時,DataWorks自動為您提供公共資源組(包括公共調度資源組、公共數據服務資源組),可用于數據開發、運行測試等操作。公共資源組被多個租戶共享,高峰期租戶間可能會存在搶占資源的情況。本文為您介紹公共資源組的概要信息。
適用場景
公共資源組建議在任務量相對較少、對任務時效性要求不高的場景下使用。
使用限制
公共資源組由多個租戶共享,在高峰期無法保證穩定的資源分配。
公共調度資源組最多支持40個調度任務同時運行,但在任務執行高峰期(通常為00:00~09:00)會存在資源搶占情況,公共調度資源組的并發任務數可能會小于該數值。
公共數據服務資源組無法滿足高頻率、高并發的調用。
如果您希望保障任務運行資源獨立且充足,建議開通使用獨享資源組,具體如下表。
資源組類型 | 描述 | 參考鏈接 |
獨享調度資源組 | 在任務高并發執行且無法錯峰運行的情況下,需要專有的計算資源來保障任務定時被調度運行時,建議使用DataWorks的獨享調度資源組。 | |
獨享數據集成資源組 | 在數據集成任務高并發執行且無法錯峰運行的情況下,企業需要專有的計算資源組來保障數據快速、穩定地傳輸時,建議使用DataWorks的獨享數據集成資源組。 | |
獨享數據服務資源組 | 在調用數據服務API需要高QPS和SLA保障的情況下,企業需要保障調用成功。同時,滿足高并發、高頻率的接口調用并及時返回結果數據時,建議使用DataWorks的獨享數據服務資源。 |
計費與相關操作
(1)計費說明
購買DataWorks后,DataWorks會為您提供公共資源組,無需您單獨購買。
根據公共資源組實例費用、同步進程費用等計費項收費。公共資源組開通時支持按量付費的計費模式,計費詳情可參見:
(2)扣費與欠費說明
DataWorks針對不同類型公共資源組的扣費及欠費處理情況存在差異,詳情請參見扣費與欠費說明。
使用公共資源組
了解上述公共資源組的適用場景及計費詳情后,您可以在數據集成、數據開發等任務中選擇合適類型的資源組使用。
公共資源組是一個公共資源池,不保證任務可以及時得到資源并被調度執行。如果您需要任務得到高保證的運行,請使用獨享資源組,詳情請參見新增和使用獨享數據集成資源組、新增和使用獨享調度資源組。
打通網絡時,如果您需要公共資源組機器的相應信息,請參見附錄:ECS自建數據庫的安全組配置和添加白名單。
在保證其它任務沒有使用公共資源組的前提下,一個數據集成任務的公共資源組最多支持5個并發。在實際執行任務時,資源可能會被其它任務搶占,所以最大并發數未必達到5個并發,并發數以實際運行情況為準。
公共資源組不支持調整內存大小,您可以調整并發數。
內存的計算方式為:
并發數*512MB
。
網絡連通方案
DataWorks資源組本質上為一組阿里云ECS實例,在運行數據集成、數據開發等任務時,需保障資源組與數據源之間的網絡是連通的,且不會因為白名單等特殊安全訪問設置阻斷資源組與數據源之間的網絡連通性。
網絡連通
公共資源組支持與阿里云內部數據源之間的訪問連通,數據源所處的網絡環境及其連通性支持情況如下。
公共調度資源組
若要訪問公網地址,需要在工作空間配置界面配置沙箱白名單,配置沙箱白名單后仍無法訪問,請使用獨享調度資源組。
僅支持訪問無白名單訪問控制的地址。訪問有白名單訪問控制的地址,或訪問VPC地址,需要使用獨享調度資源組。
說明建議所有訪問外部地址的場景,均使用獨享調度資源組。使用獨享調度資源組,詳情請參見獨享調度資源組。
公共數據服務資源組
數據源所處的網絡環境與資源組的連通性支持情況如下。
數據源網絡環境
是否支持訪問
數據源處于公網環境
支持
數據源處于經典網絡
支持
數據源處于VPC網絡
不支持
白名單設置
公共調度資源組為您提供任務安全沙箱功能,限制未知IP訪問資源組。如果您的業務場景涉及訪問資源組,需要將訪問資源組的IP添加至安全沙箱白名單中。詳細操作請參見安全設置。