系統可以通過監控隊列中積壓的數據數量來實現推理服務的自動擴縮容，從而有效地控制推理服務實例的數量。本文為您介紹如何為推理服務配置自動擴縮容。
實現原理
在異步推理場景中，系統可以根據隊列的狀態動態地對推理服務的實例數量進行伸縮，并且支持在隊列為空時將推理服務的實例數縮容到0以進一步降低成本。異步推理服務自動擴縮容的原理示意圖如下：
為異步推理服務配置自動擴縮容
您可以登錄eascmd客戶端后，使用以下命令開啟異步推理服務的彈性伸縮功能。如何登錄eascmd客戶端，詳情請參見下載并認證客戶端。
命令格式
eascmd autoscale <service_name> -Dmin=[attr_value] -Dmax=[attr_value] -Dstrategies.queue[avgbacklog]=[attr_value]其中：
queue[avgbacklog]：判斷推理服務觸發自動伸縮的獨立指標，表示隊列中等待推理服務中的每個實例處理的請求數。
<service_name>：異步推理服務名稱。
使用示例
eascmd autoscale pmmlasync -Dmin=0 -Dmax=10 -Dstrategies.queue[avgbacklog]=10其中：
queue[avgbacklog]=10：表示推理服務中每個實例最多能處理10個請求。
max=10：表示推理服務的實例個數最多能擴容到10個。
min=0：表示推理服務的實例個數最多能縮容到0個。
如果推理服務的實例個數為3，當隊列中堆積的請求數超過30（即30/3大于10）時，開始擴容，推理服務的實例數最多擴容到10個。當隊列中堆積的請求數小于且等于30個時，開始縮容。當隊列中的請求長度為空時，支持將推理服務的實例數完全縮容到0，此時隊列服務會持續運行。當請求數據重新被發送到隊列服務中時，則會觸發擴容。
您可以使用以下命令，配置擴容和縮容的等待時間。
命令格式
eascmd autoscale <service_name> -Dbehavior.<attr_name>.stabilizationWindowSeconds=<attr_value>其中：
<service_name>：異步推理服務名稱。
<attr_name>：取值為scaleDown（表示縮容）或scaleUp（表示擴容）。
<attr_value>：參數值，表示配置的等待時間，INT類型，單位為秒。
縮容時，該參數值默認為300秒。該值不宜配置過小，避免因指標波動較大導致頻繁觸發縮容。
擴容時，該參數值默認為0秒。通常在指標超過閾值時，盡可能快地進行擴容，避免因資源不足影響業務，可根據實際情況進行配置。
使用示例
配置縮容等待時間
eascmd autoscale pmmlasync -Dbehavior.scaleDown.stabilizationWindowSeconds=100表示在指標值達到縮容閾值時，等待100秒進行縮容。
配置擴容等待時間
eascmd autoscale pmmlasync -Dbehavior.scaleUp.stabilizationWindowSeconds=100表示在指標值達到擴容閾值時，等待100秒進行擴容。
您也可以通過配置文件，同時配置擴容和縮容的等待時間。
命令格式
eascmd autoscale <service_name> -s <scale.json>其中：
<service_name>：異步推理服務名稱。
<scale.json>：配置文件。文件內容示例如下。
{ "behavior": { "scaleUp": { "stabilizationWindowSeconds": 20 }, "scaleDown": { "stabilizationWindowSeconds": 150 } } }
使用示例
eascmd autoscale pmmlasync -s scale.json表示在指標值達到擴容閾值時，等待20秒進行擴容；在指標達到縮容閾值時，等待150秒進行縮容。