資源規(guī)劃和配置
在調(diào)用API時會消耗一定的資源組,為了防止資源組不能正常訪問數(shù)據(jù)源,或資源(CPU、內(nèi)存)不足導致API調(diào)用異常、高頻調(diào)用請求被限流等問題,您需要確保資源組的網(wǎng)絡連通性和充足的性能。本文為您介紹資源組規(guī)劃時的注意項及不同資源組類型的使用建議。
基本概念
資源組是指數(shù)據(jù)服務的API調(diào)用請求運行所占的計算資源。通常資源組以機器的形式展現(xiàn),即CPU、內(nèi)存和帶寬的大小。API調(diào)用流程為:用戶發(fā)起API調(diào)用請求,調(diào)用請求會先被API網(wǎng)關接收,再被轉發(fā)至數(shù)據(jù)服務的服務器,最后被轉發(fā)至目標數(shù)據(jù)源中執(zhí)行數(shù)據(jù)查詢。
資源組分類
資源組可分為公共資源組和獨享資源組兩類。
公共資源組:
DataWorks提供的、所有用戶可共享使用的資源組,公共資源組使用高峰期可能會出現(xiàn)不同用戶間搶占資源的情況。更多公共資源組的介紹可參見使用公共資源組。
獨享資源組:
購買后可獨占使用的資源組。在需要保障高并發(fā)和高頻率的API調(diào)用時,您可以選擇獨享資源組。更多獨享資源組的介紹可參見獨享數(shù)據(jù)服務資源組,獨享服務資源組的使用可參見新增和使用獨享數(shù)據(jù)服務資源組。
資源規(guī)劃關鍵:連通性和性能
您在使用資源組時,需要關注資源組的連通性和性能兩方面:
連通性:
發(fā)起API調(diào)用請求時,請求會下發(fā)至數(shù)據(jù)服務的服務器,并被進一步轉發(fā)至數(shù)據(jù)源中執(zhí)行數(shù)據(jù)查詢,因此需要保證資源組可以訪問相應的數(shù)據(jù)源及其所在的網(wǎng)絡。您需要在保證網(wǎng)絡連通的前提下,再使用數(shù)據(jù)服務;如果網(wǎng)絡不通,會導致API調(diào)用請求無法執(zhí)行。
性能:
執(zhí)行API調(diào)用任務時,會占用資源組所在機器的CPU、內(nèi)存和網(wǎng)絡等資源。如果資源不足,會導致API調(diào)用異常、高頻調(diào)用請求被限流,以及無法及時返回查詢結果等問題。您需要給予API調(diào)用任務充足的資源,以保障API調(diào)用請求的順利執(zhí)行。建議您使用獨享資源組,將發(fā)起的API調(diào)用任務運行在獨立的環(huán)境中,無需受到公共資源池的影響。獨享資源組的性能指標可參見獨享數(shù)據(jù)服務資源組計費說明:包年包月。
資源組對比和建議
兩種類型的資源組適用于不同的場景,以下通過在資源組歸屬、網(wǎng)絡連通、收費方式、實際性能等維度為您對比展示各資源組的現(xiàn)狀。您創(chuàng)建API時,可以根據(jù)自身需求選擇合適的資源組。
類別 | 獨享資源組 | 公共資源組 |
機器資源歸屬 | 由DataWorks維護,是每個租戶自身獨占使用的計算資源。 | 由DataWorks維護,是所有租戶競爭使用的共享資源。 |
網(wǎng)絡 | 支持公網(wǎng)、阿里云VPC網(wǎng)絡(實例模式&連接串模式)、IDC網(wǎng)絡下的數(shù)據(jù)源。 | 支持公網(wǎng)、阿里云VPC(實例模式)、阿里云經(jīng)典網(wǎng)絡下的數(shù)據(jù)源。 說明 深圳金融云暫不支持使用公共資源組訪問經(jīng)典網(wǎng)絡下的數(shù)據(jù)源。 |
收費方式 | 根據(jù)資源組的規(guī)格,包年包月計費。 | 根據(jù)調(diào)用次數(shù)和調(diào)用時長用量,以階梯價的形式按量收費。 |
支持的數(shù)據(jù)源 | ClickHouse、Hologres、RDS、MySQL、PostgreSQL、SQL Server、Oracle、Table Store、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、MongoDB、DRDS、StarRocks、Doris(持續(xù)豐富中) | Hologres、RDS、MySQL、PostgreSQL、SQL Server、Oracle、Table Store、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、MongoDB、DRDS |
最大每秒請求數(shù)(QPS)① | 不同規(guī)格獨享資源組的QPS閾值不同,最低支持500 QPS,可根據(jù)實際需求靈活選擇不同規(guī)格資源組來保障不同QPS量級。 一個獨享資源組可以綁定至多個工作空間、多個API。 當API調(diào)用量超過各規(guī)格資源組的QPS閾值后,將觸發(fā)系統(tǒng)限流,API調(diào)用失敗。 | 每個租戶賬號、每個地域最高支持200 QPS ,如需提高QPS閾值,請切換為獨享資源組。 當API調(diào)用量超過200 QPS將觸發(fā)系統(tǒng)限流,API調(diào)用失敗。 |
超時時長限制 | 30s | 10s |
可靠性 | 高 | 低 |
安全性 | 高 | 高 |
適用場景 | 高并發(fā)、高頻率的在線調(diào)用,復雜查詢語句,海量數(shù)據(jù)返回。 | 低并發(fā)、低頻率的調(diào)用場景 |
推薦指數(shù) | ★★★★★ | ★★★ |
api.s1.small、api.s1.medium、api.s1.large規(guī)格資源組不再支持新購,已保有的此規(guī)格資源組僅支持進行升配、降配、釋放操作。
注釋①:獨享資源組的QPS閾值是基于實際業(yè)務場景進行測算得出,您可以參考以下信息估算QPS閾值。
是否以腳本模式生成API。
API是否開啟返回結果分頁功能。
API內(nèi)配置的SQL在數(shù)據(jù)源平均執(zhí)行時長為100毫秒。
API單次調(diào)用返回數(shù)據(jù)的平均大小為3000字節(jié)。
因此,如果您的實際業(yè)務場景與上述數(shù)據(jù)有較大出入,請加入DataWorks釘釘群咨詢技術支持,我們會根據(jù)您的實際業(yè)務場景推薦合適的資源組規(guī)格。
根據(jù)上表兩種類型的對比,推薦您使用獨享資源組來進行API調(diào)用。
資源組配置引導
使用公共資源組時,需要在數(shù)據(jù)源中添加對應地域的白名單,白名單的配置,請參見獲取白名單IP地址:公共資源組。
使用獨享服務資源組時,需要根據(jù)數(shù)據(jù)源所在的網(wǎng)絡環(huán)境,選擇網(wǎng)絡連通方案,并配置白名單,請參見:獲取白名單IP地址:獨享數(shù)據(jù)服務資源組。