功能集

功能

功能描述

參考文檔

AI計算資源管理

靈駿智算資源

靈駿智算資源是阿里云PAI提供的大規(guī)模高密度計算資源服務(wù)，為您提供高性能AI訓(xùn)練、高性能計算所需的異構(gòu)計算算力服務(wù)，可用于PAI的訓(xùn)練任務(wù)。

通用訓(xùn)練資源

通用訓(xùn)練資源是基于阿里巴巴容器服務(wù)ACK（Alibaba Cloud Container Service for Kubernetes）的深度學(xué)習(xí)訓(xùn)練資源，為您提供靈活、穩(wěn)定、易用和高性能的深度學(xué)習(xí)訓(xùn)練環(huán)境。

其他大數(shù)據(jù)計算資源

展示當(dāng)前用戶擁有的MaxCompute、Flink等大數(shù)據(jù)計算資源。

AI工作空間

工作空間計算資源管理

工作空間管理員可將當(dāng)前賬號擁有的AI計算資源關(guān)聯(lián)至當(dāng)前工作空間，供工作空間成員做開發(fā)訓(xùn)練使用。

工作空間消息通知

PAI工作空間為您提供了消息通知機制，您可以創(chuàng)建消息通知規(guī)則，實現(xiàn)對DLC任務(wù)或PAIFlow（PAI-Designer）任務(wù)狀態(tài)的跟蹤和監(jiān)控，或是基于AI資產(chǎn)管理-模型版本準(zhǔn)入狀態(tài)變化觸發(fā)下游事件。

工作空間存儲及SLS轉(zhuǎn)發(fā)設(shè)置

工作空間管理員可以配置當(dāng)前工作空間下開發(fā)訓(xùn)練的默認存儲路徑，或臨時表的存儲生命周期。

成員及權(quán)限管理

基于角色的訪問控制，提供標(biāo)注管理員、算法開發(fā)、算法運維等AI全鏈路多角色支持用戶高效協(xié)同。工作空間內(nèi)AI資產(chǎn)支持private/public屬性，且面向不同角色提供不同訪問權(quán)限。

快速開始QuickStart

預(yù)置模型庫ModelHub

PAI快速開始預(yù)置了多種來源于ModelScope、Huggingface等知名模型社區(qū)的預(yù)訓(xùn)練模型。

預(yù)置模型訓(xùn)練

您可以基于預(yù)訓(xùn)練模型快速上手并使用PAI的訓(xùn)練功能。

預(yù)置模型部署

您可以基于預(yù)訓(xùn)練模型快速上手并使用PAI的部署功能。

智能標(biāo)注iTag

標(biāo)注平臺服務(wù)

支持圖像、文本、視頻、語音、PDF、多模態(tài)、自定義等全方位的標(biāo)注能力和場景。預(yù)置OCR、ASR等預(yù)標(biāo)注工具，大幅提升標(biāo)注員的效率和準(zhǔn)確。

標(biāo)注人力服務(wù)

支持人力標(biāo)注服務(wù)，專業(yè)培訓(xùn)上崗，全托管的項目管理，極大降低標(biāo)注人力成本。

標(biāo)注平臺被集成

提供豐富的API、微前端、iframe容器，客戶可自定義將標(biāo)注能力集成到第三方的AI開發(fā)平臺。

可視化建模Designer

工作流構(gòu)建

Designer通過工作流的方式來實現(xiàn)建模與模型調(diào)試，用戶可根據(jù)建模需求在工作流中通過拖拉拽的方式排布不同組件，像搭積木一樣構(gòu)建AI開發(fā)流程。

工作流導(dǎo)入/導(dǎo)出

支持將構(gòu)建好的工作流導(dǎo)出為JSON文件。用戶也可以將自己或他人導(dǎo)出的JSON格式的工作流文件導(dǎo)入到工作空間內(nèi)，來創(chuàng)建新的工作流。

周期性調(diào)度工作流

工作流可以離線部署在DataWorks，通過周期調(diào)用的方式使用。

預(yù)置工作流模板

內(nèi)置豐富案例供用戶直接使用，包含商品推薦、新聞分類、金融風(fēng)控、霧霾天氣預(yù)測、心臟病預(yù)測、農(nóng)業(yè)貸款發(fā)放、人口普查等，所有案例包含完整的數(shù)據(jù)集以及使用文檔。可以供用戶直接一鍵式使用。

自定義工作流模板

對于企業(yè)客戶，算法專家可以開發(fā)算法流程，將穩(wěn)定的工作流制作成模板分享給業(yè)務(wù)專家使用。業(yè)務(wù)專家直接基于自定義模板快速進行建模、部署、上線驗證。

可視化大屏

Designer提供可視化大屏，幫助用戶做數(shù)據(jù)的可視化分析、模型的可視化分析、以及模型結(jié)果的可視化報告。

預(yù)置算法組件庫

支持數(shù)據(jù)源、數(shù)據(jù)預(yù)處理、特征工程、統(tǒng)計分析、機器學(xué)習(xí)、時間序列、推薦算法、異常檢測、自然語言處理、網(wǎng)絡(luò)分析、金融板塊、視覺算法、語音算法、自定義算法等上百種PAI內(nèi)置算法組件，開箱即用。

支持自定義算法

支持用戶通過自定義SQL、Python、PyAlink腳本等方式實現(xiàn)節(jié)點。

工作流構(gòu)建管理能力被集成

提供標(biāo)準(zhǔn)OpenAPI/SDK支持被集成。

交互式建模DSW

云原生開發(fā)環(huán)境

為用戶提供靈活、穩(wěn)定、易用和高性能的AI開發(fā)環(huán)境，支持基于CPU/GPU的多種模型開發(fā)訓(xùn)練實例規(guī)格。

DSW Gallery

DSW Gallery可以為廣大AI開發(fā)者提供來自各個行業(yè)和技術(shù)方向的簡單易用、一鍵啟動的案例，助力用戶有效提升開發(fā)效率。

JupyterLab

DSW集成了開源JupyterLab，并以插件化的形式進行深度定制化開發(fā)。無需任何運維配置，即可進行Notebook編寫、調(diào)試及運行Python代碼。

WebIDE

提供WebIDE建模環(huán)境，可以自由安裝社區(qū)開源插件。

Terminal

提供字符終端，方便模型調(diào)試。

實例環(huán)境持久化

支持用戶進行開發(fā)環(huán)境生命周期管理、實例環(huán)境保存、數(shù)據(jù)掛載共享、環(huán)境鏡像持久化等功能。

資源水位監(jiān)控

實時資源水位可視化查看。

制作鏡像

支持用戶將開發(fā)環(huán)境制作成ACR鏡像，用于后續(xù)的分布式訓(xùn)練或者推理。

SSH遠程連接

為了滿足更靈活的SSH使用需求，DSW提供了兩種SSH連接方案：直連方式和ProxyClient方式。您可以綜合考慮兩種連接方式的資源依賴、使用方式和使用限制等因素，選擇適合您需求的連接方式。

實例管理能力被集成

提供標(biāo)準(zhǔn)OpenAPI/SDK，支持被集成。

分布式訓(xùn)練DLC

云原生分布式訓(xùn)練環(huán)境

基于阿里巴巴容器服務(wù)為用戶提供靈活、穩(wěn)定、易用和極致性能的深度學(xué)習(xí)訓(xùn)練環(huán)境，基于（CPU/GPU）提供深度學(xué)習(xí)訓(xùn)練平臺。

數(shù)據(jù)集掛載

支持多數(shù)據(jù)集，可以同時掛載多個NAS、OSS數(shù)據(jù)集。

公共/專有資源組

支持公共資源組與專有資源組。

官方鏡像/自定義鏡像

支持使用官方鏡像或自定義鏡像提交訓(xùn)練任務(wù)。

分布式訓(xùn)練

支持數(shù)據(jù)并行、模型并行及混合并行的分布式方案。

訓(xùn)練任務(wù)管理

任務(wù)生命周期管理，任務(wù)全流程把控。

分布式訓(xùn)練能力被集成

提供標(biāo)準(zhǔn)OpenAPI，支持被集成。

監(jiān)控和報警

DLC支持查看并監(jiān)控任務(wù)資源狀況，并且提供了全面詳細的監(jiān)控指標(biāo)，幫助您更好地掌握資源負載情況。通過監(jiān)控報警功能，您可以對DLC分布式訓(xùn)練任務(wù)的資源水位進行實時監(jiān)控，并靈活地配置報警規(guī)則和報警通知。如果資源水位出現(xiàn)波動，例如低于GPU使用率超過設(shè)定閾值，則會發(fā)送報警通知。

模型在線服務(wù)EAS

資源組管理

EAS將集群資源分為不同的資源組進行隔離。新建模型服務(wù)時，您可以選擇將模型服務(wù)部署在公共資源組或自己創(chuàng)建的專屬資源組。

服務(wù)/應(yīng)用部署

EAS支持將從開源社區(qū)下載的模型或您自己訓(xùn)練獲得的模型部署為推理服務(wù)或AI-Web應(yīng)用。針對不同方式獲取的訓(xùn)練模型，PAI-EAS支持不同的部署方式，您可以使用PAI-EAS的控制臺方式快速將其部署為API服務(wù)。

服務(wù)調(diào)試與壓測

服務(wù)部署完成后，您可以使用在線調(diào)試/壓測功能來測試服務(wù)是否運行正常。

服務(wù)彈性伸縮

支持用戶配置水平自動擴縮容、定時自動擴縮容、彈性資源池等能力。

服務(wù)調(diào)用

EAS根據(jù)客戶端所在的網(wǎng)絡(luò)環(huán)境不同，提供公網(wǎng)訪問、VPC訪問、VPC高速直連訪問三種不同的服務(wù)調(diào)用方法。

異步推理

EAS提供異步推理服務(wù)，支持通過訂閱或輪詢的方式來獲取推理結(jié)果。

資源組及服務(wù)管理能力被集成

提供標(biāo)準(zhǔn)OpenAPI/SDK，支持被集成。

AI資產(chǎn)管理

數(shù)據(jù)集

提供PAI標(biāo)注及模型構(gòu)建等流程中數(shù)據(jù)集的管理，支持OSS、NAS的數(shù)據(jù)源，提供PAI公共數(shù)據(jù)集，支持SDK調(diào)用。

模型

PAI支持統(tǒng)一管理用戶模型的版本、血緣、評估指標(biāo)、關(guān)聯(lián)服務(wù)等豐富信息。

任務(wù)

提供分布式訓(xùn)練任務(wù)、PAIFlow工作流任務(wù)的管理。

鏡像

提供PAI官方鏡像合集以及用戶自定義鏡像管理能力。

代碼配置

支持用戶將代碼repo注冊至PAI平臺進行管理，方便在各產(chǎn)品模塊中進行代碼版本管理。

自定義組件

PAI提供自定義算法組件功能，便于您根據(jù)使用場景創(chuàng)建自定義組件。您可以在Designer中將自定義組件和PAI官方組件串聯(lián)使用，實現(xiàn)更靈活的工作流編排。

自動機器學(xué)習(xí)AutoML

自動超參調(diào)優(yōu)HPO

HPO（Hyper Parameter Optimization）是AutoML提供的對模型參數(shù)、訓(xùn)練參數(shù)等進行自動搜索調(diào)優(yōu)的服務(wù)。

特征平臺FeatureStore

任務(wù)中心

FeatureStore為您提供任務(wù)中心功能，記錄了數(shù)據(jù)離在線同步、訓(xùn)練樣本導(dǎo)出等任務(wù)的日志詳細信息，您可以在特征項目中的任務(wù)中心中查看當(dāng)前項目的所有任務(wù)及任務(wù)狀態(tài)。

場景化解決方案

多媒體分析

提供圖像領(lǐng)域內(nèi)開箱即用的算法服務(wù)能力，包括圖像打標(biāo)、圖像分類、圖像質(zhì)量分評定等。

智能設(shè)計ArtLab

為設(shè)計師群體提供的一站式自動化AIGC設(shè)計工具，集成了Stable Diffusion、Kohya等主流的文生圖、圖生圖能力，打通了圖片數(shù)據(jù)集管理、圖片打標(biāo)、LoRA模型訓(xùn)練、AI繪圖的AIGC全場景鏈路，幫助設(shè)計師在設(shè)計、藝術(shù)、創(chuàng)意行業(yè)快速應(yīng)用AIGC能力。

AI加速

數(shù)據(jù)集加速器datasetacc

數(shù)據(jù)集加速器（DatasetAcc）依托于阿里云構(gòu)建的PaaS服務(wù)，主要解決云上AI加速-數(shù)據(jù)集加速的場景。在機器學(xué)習(xí)訓(xùn)練場景下，通過對客戶訓(xùn)練的數(shù)據(jù)集進行預(yù)分析和處理，為各種云原生的訓(xùn)練引擎提供統(tǒng)一的數(shù)據(jù)集訪問加速方案，提升整體訓(xùn)練效率。

分布式訓(xùn)練加速TorchAcc

PAI-TorchAcc（Torch Accelerator）是基于PyTorch的訓(xùn)練加速框架，通過GraphCapture技術(shù)將PyTorch動態(tài)圖轉(zhuǎn)換為靜態(tài)執(zhí)行圖，然后進一步基于計算圖完成分布式優(yōu)化、計算優(yōu)化，從而提高PyTorch模型訓(xùn)練的效率，使其更加易于使用。

大規(guī)模分布式訓(xùn)練框架EPL

EPL是高效易用的分布式模型訓(xùn)練框架，深度集成多種訓(xùn)練優(yōu)化技術(shù)，提供了簡單易用的API實現(xiàn)各種并行化策略。您可以使用EPL實現(xiàn)低成本、高性能分布式模型訓(xùn)練。

Transformer訓(xùn)練加速Rapidformer

PAI-Rapidformer結(jié)合了多種優(yōu)化技術(shù)，對PyTorch版Transformer模型的訓(xùn)練進行優(yōu)化，從而達到最優(yōu)的訓(xùn)練性能。

模型優(yōu)化Blade

Blade有機融合多種優(yōu)化技術(shù)，對模型進行分析，智能優(yōu)化達到最優(yōu)的推理性能。

PAI-SDK

分布式模型訓(xùn)練

PAI Python SDK提供了更易用的API（即HighLevel API），支持用戶提交訓(xùn)練作業(yè)到PAI，使用云上資源運行。

模型服務(wù)部署

PAI Python SDK提供了易用的API（即HighLevel API），支持用戶將模型部署到PAI創(chuàng)建推理服務(wù)。