實現(xiàn)基于彈性計算的AI推理
本文介紹基于彈性計算的AI推理的場景描述、解決問題、架構(gòu)圖及操作參考鏈接。
場景描述
本方案適用于使用GPU進行AI在線推理的場景。在推理之前,模型已經(jīng)訓練完成。比如,刷臉支付的時候,就是推理的一個過程。另外,圖像分類、目標檢測、語音識別、語義分析等返回結(jié)果的過程都是使用GPU進行AI在線推理的場景。
解決問題
使用GPU云服務器搭建推理環(huán)境。
使用容器服務Kubernetes版構(gòu)建推理環(huán)境。
使用NAS存儲模型數(shù)據(jù)。
使用飛天AI加速推理工具加速推理。
架構(gòu)圖
參考鏈接
有關(guān)基于彈性計算的AI推理的詳情,請參見基于彈性計算的AI推理。
文檔內(nèi)容是否對您有幫助?