本文從管理員視角、AI開發視角及PAI產品模塊三個方面介紹涉及的基本概念。
管理員視角
名詞 | 描述 |
工作空間(WorkSpace) | 工作空間是PAI的頂層概念,為企業和團隊提供統一的計算資源管理及人員權限管理能力,為AI開發者提供支持團隊協作的全流程開發工具及AI資產管理能力。PAI工作空間和DataWorks工作空間在概念和實現上互通。 默認工作空間:默認關聯常用的按量付費資源(需要同意開通),使新用戶在初始情況下無需了解資源組等概念,即可快速開始開發和訓練流程。 |
云原生基礎AI平臺DLC(Deep Learning Containers) | PAI提供的云原生基礎AI平臺,提供靈活、穩定、易用和高性能的機器學習訓練環境。該平臺支持多種算法框架、超大規模分布式深度學習任務運行及自定義算法框架。此外,該平臺支持以下兩種工作集群:
|
資源組(Resource Group) |
|
成員(Member) | 加入工作空間的阿里云賬號和RAM用戶被稱為工作空間成員。在AI研發流程中,同一工作空間下的成員以不同的角色協作。工作空間的負責人和管理員可以編輯工作空間內的成員。 |
角色(Role) | 成員和不同權限集合之間的映射,基礎角色由系統定義,更多角色您可以自行定義。系統支持以下基礎角色:
|
云產品依賴(Dependencies) | 要充分使用PAI的所有功能,需要依賴阿里云的其他產品。通常需要阿里云賬號或資源管理員預先開通并對RAM進行授權。這些產品包括OSS、NAS、SLS、ACR、API網關等。 |
AI開發視角
名詞 | 描述 |
數據集(DataSet) | 用于標注、訓練、分析等的數據集合,支持您將存儲在OSS、NAS、MaxCompute等存儲介質中的結構化、非結構化數據或目錄注冊為數據集。同時,PAI支持統一管理數據集的存儲、版本、數據結構等信息。 |
工作流(Pipeline) | 您構建DAG(有向無環圖)用來實現組件之間上下游邏輯調度的對象,這是一個靜態概念。構建完成后,PAI支持對其進行重復提交運行,生成PipelineRun。 |
工作流草稿(PipelineDraft) | 您在Designer畫布上操作的編輯狀態的工作流對象,支持重復編輯以生成不同的Pipeline。PipelineDraft提交運行后會生成PipelineRun。 |
組件(Component) | 您在PAI工作流和工作流草稿中編輯以及工作流任務執行的最小單元。組件可以來源于:
|
節點(Node) | 被拖到畫布上的一個組件,形成工作流中的一個節點。 |
工作流快照(SnapShot) | 每次運行PipelineDraft(包括完整運行、單節點運行、部分節點運行),都會記錄完整PipelineDraft的配置信息,包括節點配置、運行參數、執行方式等,這些信息可以用于PipelineDraft的版本記錄及配置回滾。 |
工作流任務(PipelineRun) | 一次工作流的任務執行。您可以通過Designer提交PipelineDraft運行,或通過SDK直接提交Pipeline運行,生成一個PipelineRun。 |
作業(Job) | 運行在計算資源中的任務,例如用戶提交至分布式訓練DLC(Deep Learning Containers)的訓練任務。任務運行的資源環境歸屬用戶。 |
運行(Run) | 一個Run指一次任務執行,兼容MLFlow中的概念,必須歸屬于某一個Experiment。您可以使用Run跟蹤PAI上提交的訓練任務,也可以在本地使用MLflow Client直接創建一次任務。一個Run中可包含多個Job。 |
模型(Model) | 模型是您基于數據集和算法代碼通過訓練任務產出的結果,可以預測新數據。 |
Processor | 在線預測邏輯(模型加載和請求預測邏輯)的程序包,通常與模型文件一起部署,從而獲得模型服務。PAI支持以下兩類Processor:
|
模型服務(Service) | 模型文件和在線預測邏輯代碼部署成的常駐服務。您可以對模型服務進行創建、更新、停止、啟動、擴容及縮容操作。 |
鏡像(Image) | PAI支持您將Docker鏡像作為AI資產進行管理,支持以下鏡像來源:
鏡像可以用于工作流中構建自定義組件完成指定的任務,在DSW中作為環境拉起DSW實例,也可以在提交訓練任務時被指定為執行環境。 |
實例(Instance) | 計算資源被啟動的最小單元,包括以下實例:
|
PAI產品模塊
名詞 | 描述 |
智能標注(iTAG) | 集成智能能力(黑盒)的數據集標注工具,有效降低標注工作量,快速獲取高質量的標注數據集。 |
可視化建模(Designer) | 面向AI領域的工作流設計工具,封裝了豐富的機器學習算法組件。您無需代碼基礎,通過拖拉拽即可訓練模型。 |
交互式建模(DSW) | 面向AI開發者的云端機器學習交互式開發IDE,包含Notebook、VSCode及Terminal。您可以基于鏡像指定NAS作為存儲啟動DSW。 |
容器訓練(DLC) | 將訓練任務提交到當前工作空間關聯的計算資源(例如通用計算資源)中,提交后的任務詳情可以在PAI任務管理模塊中查看。 |
模型在線服務(EAS) | 支持大規模復雜模型的一鍵部署功能,實時彈性擴縮容,并提供完整的運維監控體系。 |
AI資產管理 | 提供包括數據集、模型、代碼配置等核心AI資產的管理能力。 |
場景化解決方案 | 基于PAI平臺能力孵化的垂直領域解決方案集合,方便您直接應用。 |