EAS推出LLM智能路由，提升LLM推理服務(wù)效率
更新時(shí)間：
LLM智能路由能顯著提升推理系統(tǒng)的資源使用水位，為客戶降本增效
適用客戶
基于EAS構(gòu)建LLM驅(qū)動(dòng)的應(yīng)用和服務(wù)，如智能客服、內(nèi)容生成、語言翻譯等。如果客戶需要高效且穩(wěn)定地處理大量用戶請(qǐng)求，LLM智能路由能夠幫助客戶提升吞吐量和降低延時(shí)。
新增功能/規(guī)格
客戶在部署LLM類型的EAS服務(wù)時(shí)，支持關(guān)聯(lián)LLM智能路由，能夠?qū)φ?qǐng)求進(jìn)行智能分發(fā)，從而保證后端實(shí)例處理的算力和顯存盡可能均勻，提升集群資源使用水位，
產(chǎn)品文檔
文檔內(nèi)容是否對(duì)您有幫助？