場景描述

本方案適用于使用GPU進行AI在線推理的場景。在推理之前，模型已經(jīng)訓練完成。比如，刷臉支付的時候，就是推理的一個過程。另外，圖像分類、目標檢測、語音識別、語義分析等返回結(jié)果的過程都是使用GPU進行AI在線推理的場景。

解決問題

• 使用GPU云服務器搭建推理環(huán)境。

• 使用容器服務Kubernetes版構(gòu)建推理環(huán)境。

• 使用NAS存儲模型數(shù)據(jù)。

• 使用飛天AI加速推理工具加速推理。

架構(gòu)圖

參考鏈接

有關(guān)基于彈性計算的AI推理的詳情，請參見基于彈性計算的AI推理。