日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

文檔

什么是MaxCompute

更新時間:

MaxCompute是適用于數據分析場景的企業級SaaS(Software as a Service)模式云數據倉庫,以Serverless架構提供快速、全托管的在線數據倉庫服務,消除了傳統數據平臺在資源擴展性和彈性方面的限制,最小化用戶運維投入,使您可以經濟并高效地分析處理海量數據。

隨著數據收集手段不斷豐富,行業數據大量積累,數據規模已增長到了傳統軟件行業無法承載的海量數據(TB、PB、EB)級別。MaxCompute提供離線和實時的數據接入,支持大規模數據計算及查詢加速能力,為您提供面向多種計算場景的數據倉庫解決方案及分析建模服務。MaxCompute還為您提供完善的數據導入方案以及多種經典的分布式計算模型,您可以不必關心分布式計算和維護細節,便可輕松完成大數據分析。

MaxCompute適用于100 GB以上規模的存儲及計算需求,最大可達EB級別,并且MaxCompute已經在阿里巴巴集團內部得到大規模應用。MaxCompute適用于大型互聯網企業的數據倉庫和BI分析、網站的日志分析、電子商務網站的交易分析、用戶特征和興趣挖掘等。詳細發展歷程、產品榮譽及客戶案例請參見發展歷程客戶案例

MaxCompute還深度融合了阿里云如下產品:

  • DataWorks

    基于DataWorks實現一站式的數據同步、業務流程設計、數據開發、管理和運維功能。

  • 人工智能平臺PAI

    基于機器學習平臺的算法組件實現對MaxCompute數據進行模型訓練等操作。

  • 實時數倉Hologres

    基于Hologres對MaxCompute數據進行外表查詢加速,也可導出到Hologres進行交互式分析。

  • Quick BI

    基于Quick BI對MaxCompute數據進行報表制作,實現數據可視化分析。

MaxCompute融合的更多阿里云產品信息,請參見支持的云服務

前置概念

閱讀本文前,您可按需了解基礎概念:什么是數據倉庫?

視頻簡介

核心功能

MaxCompute提供的核心功能如下。詳細功能清單,請參見功能特性

功能分類

功能描述

全托管的Serverless在線服務

  • 對外以API方式訪問的在線服務,開箱即用。

  • 預鋪設大規模集群資源,可以按需使用、按量計費。

  • 無需平臺運維,最小化運維投入。

彈性能力與擴展性

  • 存儲和計算獨立擴展,支持企業將全部數據資產在一個平臺上進行聯動分析,消除數據孤島。

  • 支持實時根據業務峰谷變化分配資源。

統一豐富的計算和存儲能力

  • MaxCompute支持多種計算模型和豐富的UDF。

  • 采用列壓縮存儲格式,通常情況下具備5倍壓縮能力,可以大幅節省存儲成本。

數據建模、開發、治理能力

借助一站式數據開發與治理平臺DataWorks,可實現全域數據匯聚、融合加工和治理。DataWorks支持對MaxCompute項目進行管理以及Web端查詢編輯。

集成AI能力

  • 人工智能平臺 PAI無縫集成,提供強大的機器學習處理能力。

  • 您可以使用熟悉的Spark-ML開展智能分析。

  • 使用Python機器學習三方庫。

深度集成Spark引擎

  • 內建Apache Spark引擎,提供完整的Spark功能。

  • 與MaxCompute計算資源、數據和權限體系深度集成。

湖倉一體

  • 集成對數據湖(OSS或Hadoop HDFS)的訪問分析,支持通過外部表映射、Spark直接訪問方式開展數據湖分析。

  • 在一套數據倉庫服務和用戶接口下,實現數據湖與數據倉庫的關聯分析。

詳細信息,請參見MaxCompute湖倉一體概述

離線實時一體

  • 與實時數倉Hologres深度融合,支持外部表關聯查詢,支持存儲層直讀,查詢效率相比其他類型外部表高5倍以上。

  • Hologres針對MaxCompute支持查詢加速,數據無需移動,查詢加速10倍以上。

  • Hologres支持MaxCompute元數據的批量導入,無需手工創建外表。

支持流式寫入和近實時分析

  • 支持流式數據實時寫入并在數據倉庫中開展分析。

  • 與云上主要流式服務深度集成,輕松接入各種來源的流式數據。

  • 支持高性能秒級彈性并發查詢,滿足近實時分析場景需求。

提供持續的SaaS化云上數據保護

為云上企業提供基礎設施、數據中心、網絡、供電、平臺安全能力、用戶權限管理、隱私保護等保三級超20項安全功能,兼具開源大數據與托管數據庫的安全能力。

產品架構

MaxCompute的產品架構如下。

p787518

其中核心模塊介紹如下。

模塊名稱

功能說明

存儲引擎

MaxCompute為您提供MaxCompute存儲引擎(內部存儲)用于存儲MaxCompute表、資源等,同時您也可以通過外表的方式直接讀取存儲在OSS、TableStore、RDS等其他產品中的數據。

其中MaxCompute存儲引擎主要采用列壓縮存儲格式,通常情況下可達到5倍壓縮比。

計算引擎

MaxCompute為您提供MaxCompute SQL計算引擎和CUPID計算平臺。

  • MaxCompute SQL引擎:可直接運行MaxCompute SQL任務。MaxCompute SQL任務的命令及函數語法要求及開發示例可參見開發參考:SQL

  • CUPID計算平臺:可運行Spark任務、Mars任務等三方引擎的任務,多引擎的開發要求及示例請參見開發參考:多引擎

云服務層

MaxCompute支持創建不同的任務隊列,并為每個隊列配置不同的資源和優先級,以便對任務執行進行更精細的控制,同時具備強大的調度系統,可以管理并優化計算資源的分配和使用,以提高系統的整體效率。MaxCompute也提供數據安全性的多層保護,包括項目空間隔離、權限控制、數據加密,確保數據的安全和隱私。

統一元數據及安全體系

MaxCompute的離線租戶級別元數據信息會通過Information Schema提供服務,同時Information Schema也提供MaxCompute的使用歷史日志數據查詢等服務,您可以對作業的運行情況,例如資源消耗、運行時長、數據處理量等指標進行分析,用于優化作業或規劃資源容量。

MaxCompute還提供了完善的安全管理體系,例如訪問控制、數據加密、動態脫敏等為數據安全性提供保障。更多安全相關信息,請參見安全管理

用戶接口與開放性

MaxCompute提供如下用戶接口:

數據生態支持

MaxCompute與阿里云DataWorks深度結合,可通過DataWorks實現一站式數據開發分析治理,同時也支持其他多種數據開發分析場景:

  • 數據湖

  • 數據集成

  • 數據治理

  • 三方引擎的數據開發

  • 數據可視化分析

TopConsole(管理控制臺)

提供MaxCompoute項目管理、Quota管理、租戶管理等基礎配置管理能力,以及作業運維、資源觀測基本運維能力,還有物化視圖、成本分析優化等增強運維能力,詳情請參見資源和作業管理

產品優勢

MaxCompute的主要優勢如下:

  • 簡單易用

    • 面向數據倉庫實現高性能存儲、計算。

    • 預集成多種服務,標準SQL開發簡單。

    • 內建完善的管理和安全能力。

    • 免運維,按量付費,不使用不產生計算費用。

  • 匹配業務發展的彈性擴展能力

    存儲和計算獨立擴展,動態擴縮容,按需彈性擴展,無需提前規劃容量,滿足突發業務增長。

  • 支持多種分析場景

    支持開放數據生態,以統一平臺滿足數據倉庫、BI、近實時分析、數據湖分析、機器學習等多種場景。

  • 開放的平臺

    • 支持開放接口和生態,為數據、應用遷移、二次開發提供靈活性。

    • 支持與Airflow、Tableau等開源和商業產品靈活組合,構建豐富的數據應用。

聯系我們

如果您在使用MaxCompute的過程中有任何疑問或建議,歡迎填寫釘釘群申請表單加入釘釘群進行反饋。