背景信息

隨著數據的累積，數據驅動的智能應用（例如：搜索、推薦和問答）已經越來越廣泛地被用于各種場景中。在過去幾年，數據驅動的智能應用已經逐漸從基于簡單的數據分析和統(tǒng)計轉型為基于機器學習和深度學習的特征和模型應用。轉型的速度遠遠超出預期，部分原因是機器學習和人工智能方面的技術突破。深度神經網絡在圖像分析和自然語言處理等學科中取得了前所未有的進步。強化學習成為補充傳統(tǒng)監(jiān)督學習的強大范式。

然而，在目前的數據驅動的智能應用中，數據、特征和模型仍處于割裂狀態(tài)。首先，數據工程師通過手工編寫流程進行數據清洗和數據集成；然后，算法工程師通過自定義的特征工程流程、模型訓練腳本以及定時任務腳本進行周期性的生產特征和模型；最后，開發(fā)工程師負責模型的上線、穩(wěn)定性保證和監(jiān)控運維。這就導致了不同系統(tǒng)之間會進行數據遷移，同一份數據可能在不同源之間冗余，進而出現數據不一致的問題，以及特征難管理、模型難升級等困境。除此之外，數據工程師、算法工程師和開發(fā)工程師的人力成本也是當前數據驅動的智能決策應用難以大規(guī)模落地的一個阻礙。

事實上，鑒于數據庫研究在數據發(fā)現、數據管理、版本控制、數據清理和數據集成方面積累的專業(yè)知識，PolarDB for AI可以為數據驅動的智能應用提供一站式的數據（包括：數據、特征和模型）服務來解決這種割裂狀態(tài)，大大減少數據驅動的智能決策開發(fā)過程中的人力成本，從而走出當前的困境。

簡介

PolarDB for AI是基于PolarDB MySQL版的一個數據庫內的分布式機器學習組件。其基于云原生的體系架構，通過SQL語句的方式提供了支持機器學習的一系列MLOps，包括：創(chuàng)建模型、訓練模型、查看模型狀態(tài)、查看模型列表、模型評估和模型推理等能力；同時提供了一系列內置的機器學習和人工智能算法，包括：分類算法、回歸算法和聚類算法等。基于MLOps和內置的模型，PolarDB for AI為數據驅動的智能應用提供了高效、可靠、方便的數據智能能力，打破了數據庫和業(yè)務應用之間的系統(tǒng)墻，提供了基于數據庫數據智能的一站式服務。

版本要求

若要使用PolarDB for AI功能，PolarDB MySQL版集群需滿足如下要求：

• 產品版本為企業(yè)版，系列為集群版。

• 內核引擎版本需為8.0.1及以上。

• 數據庫代理版本（Proxy）需為2.7.5及以上。

費用

PolarDB for AI只收取AI節(jié)點的費用。普通AI節(jié)點按照普通的計算節(jié)點收費，其規(guī)格詳情與價格請參見計算節(jié)點規(guī)格和計算節(jié)點價格。

技術架構

PolarDB for AI通過數據庫代理進行SQL路由，含有/*polar4ai*/的SQL語句會被分發(fā)到具有AI能力的集群上進行計算，計算的返回結果和普通的SQL返回結果遵循同樣的協(xié)議。所以，您可以連接數據庫集群并執(zhí)行帶有/*polar4ai*/的SQL語句來使用該功能。其架構圖如下所示：

除普通集群具有的存儲功能和計算功能之外，PolarDB for AI還具有三層結構，分別是接入層、特征層及模型層。其中：

• 接入層：負責處理SQL語句，包括SQL解析、SQL校驗、代價估算和生成執(zhí)行計劃等，并優(yōu)化為可執(zhí)行的SQL語句節(jié)點樹。

• 特征層：負責處理從數據轉換為特征的工作，包括數據接入、特征生成、數據同步和特征更新。

• 模型層：負責處理模型相關的MLOps能力，包括模型創(chuàng)建、模型訓練、模型評估、模型推理和模型管理。

適用場景

如下圖所示，PolarDB for AI將傳統(tǒng)的DB+AI的數據智能應用轉變?yōu)橐徽臼綌祿悄軕茫瑥臄祿旆沼趥鹘y(tǒng)的數據工程師和算法工程師轉變?yōu)?span data-tag="ph" id="codeph-gcu-lk7-twl" class="ph">DB+AI服務于業(yè)務工程師，直接與業(yè)務系統(tǒng)對接。

PolarDB for AI可用于如下行業(yè)場景：

• ID-Mapping

  ID-Mapping通常適用于平臺性的客戶，如游戲和電商等。以游戲平臺為例，某些游戲平臺中的同一個用戶可能會有多個游戲賬號，這些賬號散落在各種游戲或平臺本身的數據庫中，并沒有對賬號進行融合。基礎數據建設不完善會帶來各種問題，例如做精準營銷時不能精準定位同一個用戶，導致流量在跨渠道使用時效率較低。采用機器學習模型則會將賬號統(tǒng)一，不但提高了基礎數據質量，而且還為上游業(yè)務提供了優(yōu)質的數據。

• 問答機器人

  問答機器人基于數據庫中的內容。根據用戶的業(yè)務場景，結合AI能力（對話控制、機器學習、自然語言理解等），打造適合企業(yè)的對話服務。問答機器人可以實現7×24小時在線服務，能幫助企業(yè)接待更多客戶、提升客戶滿意度、提高工作效率和降低運營成本。是企業(yè)進行在線咨詢、在線營銷和在線服務的好幫手。

• 搜索推薦

  在傳統(tǒng)的數據庫中，用戶的搜索能力通常基于數據庫固有的全文檢索能力，不支持自然語言類的檢索需求（如語義檢索、同義詞匹配等）。采用PolarDB for AI中成熟的搜索解決方案，可以大幅度提升搜索的精確性。

  基于PolarDB for AI的智能推薦算法和知識圖譜技術，再結合阿里巴巴電商策略，為企業(yè)提供貫穿推薦能力的一站式服務，助力企業(yè)快速過渡冷啟動過程。面向不同的業(yè)務場景定制個性化解決方案，持續(xù)提升核心業(yè)務能力，以實現業(yè)務營收增長。

優(yōu)勢

PolarDB for AI支持PolarDB內置的模型訓練和模型推理等MLOps，無縫兼容MySQL語句，提供達摩院加持的行業(yè)智能算法服務，避免數據在兩個甚至多個系統(tǒng)間轉換和遷移，從而降低數據智能應用的開發(fā)成本，加速數據價值業(yè)務變現。

使用說明

• 快速上手PolarDB for AI

  • 開啟PolarDB for AI功能

  • 使用集群地址連接集群并執(zhí)行AI SQL

  • 模型使用流程及說明

• 自然語言到SQL語言轉義（基于大語言模型的NL2SQL）

• 分詞和向量檢索

• 進階使用PolarDB for AI

  • 特征管理

  • 算法介紹

  • 將AI模型推理結果寫回數據庫

  • Row-oriented AI

• 典型解決方案

  • ID-Mapping在游戲領域的解決方案

  • 通義千問大模型數據推理和交互

核心算法

• LightGBM算法

• DeepFM算法

• K均值聚類算法（K-Means）

• 隨機森林回歸算法（Random Forest Regression）

• 梯度提升回歸樹算法（GBRT）

• 梯度提升決策樹算法（GBDT）

• 線性回歸算法（Linear Regression）

• 支持向量回歸算法（SVR）

• IV算法

• Pearson相關系數

• 群體穩(wěn)定性指標PSI