方式一：通過控制臺部署

1. 進入模型在線服務頁面。

   1. 登錄PAI控制臺。

   2. 在左側導航欄單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。

   3. 在工作空間頁面的左側導航欄選擇模型部署>模型在線服務（EAS），進入模型在線服務（EAS）頁面。

2. 在模型在線服務（EAS）頁面，單擊部署服務。

3. 在部署服務頁面，選擇以下任意一種部署方式：

   • 選擇自定義模型部署>自定義部署。

   • 選擇場景化模型部署>LLM大語言模型部署，并在基本信息區域，選擇支持推理加速的模型類別：Qwen2-7b、Qwen1.5-1.8b、Qwen1.5-7b、Qwen1.5-14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it、deepseek-coder-7b-instruct-v1.5。

4. 在服務功能配置區域，單擊LLM智能路由，并打開LLM智能路由開關，然后在下拉列表中，單擊新建LLM智能路由。

5. 在新建LLM智能路由配置面板中，配置以下關鍵參數，然后單擊部署。

   參數		描述
   基本信息	服務名稱	按照控制臺操作指引，自定義配置LLM智能路由服務名稱。例如llm_router。
   資源配置	部署資源	LLM-智能路由的資源配置。默認配置如下： 最小實例數：默認為2，建議您將最小實例數設置為2，以確保智能路由能夠多實例運行。 CPU：默認為2核。 內存：默認為4 GB。
   	調度資源	LLM-Scheduler調度資源。默認為： CPU：2核。 內存：4 GB。
   	推理加速	請選擇您在鏡像中使用的推理框架，目前，LLM網關支持以下兩種框架類型： PAI-BladeLLM自動推理加速 開源框架vllm推理加速

LLM智能路由服務部署成功后，會同步創建一個群組服務。您可以前往模型在線服務（EAS）頁面的服務群組頁簽進行查看。服務群組名稱命名格式為group_LLM智能路由服務名稱。

方式二：通過JSON獨立部署

1. 進入模型在線服務頁面。

   1. 登錄PAI控制臺。

   2. 在左側導航欄單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。

   3. 在工作空間頁面的左側導航欄選擇模型部署>模型在線服務（EAS），進入模型在線服務（EAS）頁面。

2. 在模型在線服務（EAS）頁面，單擊部署服務。

3. 在自定義模型部署區域，單擊JSON獨立部署。

4. 在JSON文本編輯框中配置以下內容，然后單擊部署。

   配置文件內容示例如下：

   說明

   • 為了防止單點故障，建議您將metadata.instance至少設置為2，以確保智能路由能夠多實例運行。

   • 如果先部署LLM智能路由服務，該服務將保持等待狀態直至大語言模型（LLM）服務部署成功。

   • 基礎配置：

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "metadata": {
             "type": "LLMGatewayService",
             "cpu": 4,
             "group": "llm_group",
             "instance": 2,
             "memory": 4000,
             "name": "llm_router"
         }
     }

     您只需將metadata.type配置為LLMGatewayService，即可部署LLM智能路由服務。其他參數配置說明，請參見服務模型所有相關參數說明。服務部署成功后，EAS會自動創建一個組合服務，包含LLM-智能路由和LLM-Scheduler，其中LLM-智能路由的資源配置使用的就是該服務的配置；LLM-Scheduler默認的資源配置為4核CPU和4 GiB內存。

   • 高階配置：如果基礎配置無法滿足您的需求，您還可以參考以下高階配置，準備JSON文件：

     {
         "cloud": {
             "computing": {
                 "instance_type": "ecs.c7.large"
             }
         },
         "llm_gateway": {
             "infer_backend": "vllm",
             "max_queue_size": 128,
             "retry_count": 2,
             "wait_schedule_timeout": 5000,
             "wait_schedule_try_period": 500
         },
         "llm_scheduler": {
             "cpu": 4,
             "memory": 4000
         },
         "metadata": {
             "cpu": 2,
             "group": "llm_group",
             "instance": 2,
             "memory": 4000,
             "name": "llm_router",
             "type": "LLMGatewayService"
         }
     }

     其中關鍵配置說明如下，其他參數配置說明，請參見服務模型所有相關參數說明。

     配置	說明
     llm_gateway.infer_backend	大語言模型使用的推理框架，支持： vllm（默認值） bladellm
     llm_gateway.max_queue_size	LLM智能路由緩存隊列的最大長度，默認是128。 當超過后端推理框架處理能力時，待有可用推理實例時進行調度轉發。
     llm_gateway.retry_count	重試次數，默認是2。當后端推理實例異常時，進行請求重試并轉發到新的實例。
     llm_gateway.wait_schedule_timeout	超時時間，默認為5000毫秒。當LLM-Scheduler不可用時間達到超時時間后，LLM-智能路由使用簡單的Round-Robin策略進行請求分發。
     llm_gateway.wait_schedule_try_period	當LLM-Scheduler不可用時，系統在wait_schedule_timeout超時時間內的重試頻率，默認為500毫秒。
     llm_scheduler.cpu	指定LLM-Scheduler的CPU，默認為4核。
     llm_scheduler.memory	指定LLM-Scheduler的Memory，默認為4 GiB。
     llm_scheduler.instance_type	指定LLM-Scheduler的實例規格。該規格已經定義了CPU核數和內存大小，無需單獨配置CPU和Memory。

方式一：通過控制臺部署

1. 進入模型在線服務頁面。

   1. 登錄PAI控制臺。

   2. 在左側導航欄單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。

   3. 在工作空間頁面的左側導航欄選擇模型部署>模型在線服務（EAS），進入模型在線服務（EAS）頁面。

2. 在模型在線服務（EAS）頁面，單擊部署服務。

3. 在部署服務頁面，選擇以下任意一種部署方式，并配置關鍵參數，其他參數配置說明，請參見服務部署：控制臺。

   • 選擇自定義部署，并配置以下關鍵參數。

     參數		描述
     模型服務信息	部署方式	選擇鏡像部署AI-Web應用。
     	鏡像選擇	支持使用PAI平臺鏡像或自定義鏡像： 選擇PAI平臺鏡像，鏡像選擇chat-llm-webui，鏡像版本選擇3.0-vllm或3.0-blade。 選擇鏡像地址，并在文本框中輸入自定義鏡像地址。您的自定義鏡像后端推理框架需要是BladeLLM或vllm。
     服務功能配置	LLM智能路由	打開LLM智能路由開關，并選擇已創建的LLM智能路由。

   • 選擇LLM大語言模型部署，并配置以下關鍵參數。

     參數		描述
     基本信息	模型類別	從如下模型中任意選擇一個支持推理加速的模型類別：Qwen2-7b、Qwen1.5-1.8b、Qwen1.5-7b、Qwen1.5-14b、llama3-8b、llama2-7b、llama2-13b、chatglm3-6b、baichuan2-7b、baichuan2-13b、falcon-7b、yi-6b、mistral-7b-instruct-v0.2、gemma-2b-it、gemma-7b-it、deepseek-coder-7b-instruct-v1.5。
     服務功能配置	LLM智能路由	打開LLM智能路由開關，并選擇已創建的LLM智能路由。

4. 參數配置完成后，單擊部署。

方式二：通過JSON獨立部署

本方案以PAI提供的預置鏡像-開源vLLM-0.3.3版本為例，具體操作步驟如下：

1. 在模型在線服務（EAS）頁面，單擊部署服務。

2. 在自定義模型部署區域，單擊JSON獨立部署。

3. 在JSON文本編輯框中配置以下內容，然后單擊部署。

   配置文件內容示例如下：

   {
       "cloud": {
           "computing": {
               "instance_type": "ecs.gn7i-c16g1.4xlarge"
           }
       },
       "containers": [
           {
               "image": "eas-registry-vpc.<regionid>.cr.aliyuncs.com/pai-eas/chat-llm:vllm-0.3.3",
               "port": 8000,
               "script": "python3 -m vllm.entrypoints.openai.api_server --served-model-name llama2 --model /huggingface/models--meta-llama--Llama-2-7b-chat-hf/snapshots/c1d3cabadba7ec7f1a9ef2ba5467ad31b3b84ff0/"
           }
       ],
       "features": {
           "eas.aliyun.com/extra-ephemeral-storage": "50Gi"
       },
       "metadata": {
           "cpu": 16,
           "gpu": 1,
           "instance": 5,
           "memory": 60000,
           "group": "llm_group",
           "name": "vllm_service"
       }
   }

   其中關鍵配置說明如下，其他參數配置說明，請參見服務模型所有相關參數說明。

   • metadata.group：服務群組名稱。LLM服務必須與LLM智能路由在同一個群組下，這樣LLM服務才能向LLM-Scheduler進行注冊，并上報相關的Metric（指標），同時LLM智能路由才能進行流量轉發。

     • 當使用控制臺方式創建LLM智能路由時，您需要在模型在線服務（EAS）頁面的服務群組頁簽，查看LLM智能路由所在的服務群組名稱。命名格式為group_LLM智能路由名稱。

     • 當使用JSON獨立部署時，配置為llm_group。

   • containers.image：本方案使用PAI提供的預置鏡像，您需要將<regionid>替換為實際服務所在地域的ID，例如華北2（北京）配置為cn-beijing。