模塊

說明

產品簡介

介紹MaxCompute產品的概況、主要功能、應用場景、使用限制及基本概念。通過閱讀該章節，您會對MaxCompute有一個總體的認知。

準備工作

通過示例指導您如何準備賬號、準備環境、創建表、導入數據、運行SQL及導出結果數據。

快速入門

常用命令列表

介紹MaxCompute的常用命令。您可以進一步熟悉如何操作MaxCompute。

工具

您需要在分析數據前掌握MaxCompute涉及的客戶端、MaxCompute Studio等工具。

Endpoint

介紹MaxCompute各地域支持的連接方式及Endpoint信息，并對您在與其他云產品（ECS、Tablestore或OSS）互訪場景中遇到的網絡連通性和下載數據收費等問題進行說明。

功能項

說明

DDL操作

支持管理表、分區、列、生命周期及視圖。

DML操作

支持插入或更新表、分區數據。

DQL操作

支持SELECT、子查詢等多種查詢操作。

增強操作

支持通過命令導入導出MaxCompute表中的數據、復制表數據等SQL增強操作。

內建函數

支持通過內建數學函數、窗口函數、日期函數、聚合函數、字符串函數等處理數據。

UDF

支持通過創建自定義函數來滿足更多的計算需求。

模塊

說明

MapReduce

MaxCompute提供Java MapReduce編程模型。您可以使用MapReduce提供的接口（Java API）編寫MapReduce程序，處理MaxCompute中的數據。

Graph

一套面向迭代的圖計算處理框架。使用圖進行建模，圖由點（Vertex）和邊（Edge）組成，點和邊包含權值（Value）。通過迭代對圖進行編輯、演化，最終得出結果。

Tunnel

您可以使用Tunnel服務向MaxCompute批量上傳離線數據或從MaxCompute下載離線數據。

Java SDK

向開發者提供的Java接口。

Python SDK

向開發者提供的Python接口。

模塊

子模塊

說明

項目管理

創建項目前期工作

項目（Project）是MaxCompute的基本組織單元，它類似于傳統數據庫的Database或Schema的概念，是進行多用戶隔離和訪問控制的主要邊界。一個用戶可以同時擁有多個項目的權限，通過安全授權，可以在一個項目中訪問另一個項目中的對象，例如表（Table）、資源（Resource）、函數（Function）和實例（Instance）。使用MaxCompute，實際是操作項目中的各種對象。前期準備工作如下：

• 資源預算

  MaxCompute收費資源主要包含存儲、計算和公網下載流量。

  • 存儲資源：按量階梯計費。您可以按照數據量套用公式預估費用。由于數據不是當天全部存儲在MaxCompute，且每時每刻都會存在數據導入導出，所以預算結果不是絕對值。

  • 計算資源：計算資源分為按量計費和包年包月模式。由于使用初期不容易評估計算資源使用量，建議您先使用按量計費模式，測試一段時間后根據使用量再決定是否使用包年包月模式。

  • 外網下載流量：按量計費，只有通過外網下載才會收費。

  詳細計費說明請參見計費項與計費方式概述。

• 準備賬號并開通服務

  創建MaxCompute項目前，必須先開通MaxCompute服務，且只能將阿里云賬號作為主賬號，同時該賬號為計費主體。確定賬號后，在開通MaxCompute服務時，您需要根據資源預算結論選擇按量計費或包年包月模式。

創建項目

創建項目具體操作，請參見創建MaxCompute項目。

創建項目時，需要從業務角度考慮選擇標準模式或簡單模式項目，從安全角度考慮使用個人賬號或計算引擎指定賬號，詳情請參見MaxCompute訪問身份和MaxCompute數據安全管理指南。

項目成員管理

成員管理主要考慮成員的職責和安全問題，如果通過DataWorks使用MaxCompute，您需要考慮兩個產品之間的關聯權限，詳情請參見MaxCompute和DataWorks的權限關系。

RAM用戶管理

MaxCompute項目支持阿里云賬號和RAM用戶兩種賬號體系。您可以將阿里云賬號下的任意RAM用戶加入MaxCompute的某一個項目中。RAM用戶詳情，請參見創建RAM用戶。

通過DataWorks使用MaxCompute和DataWorks的工作空間，僅支持添加阿里云賬號下的RAM用戶為成員。因此，需要阿里云賬號通過RAM系統創建RAM用戶，并對RAM用戶進行維護管理。

調度資源管理

• 調度資源

  即DataWorks上的調度資源，調度資源用于執行或分發調度系統下發的任務。DataWorks的調度資源分為如下兩種模式，詳情請參見查看資源組列表。

  • 默認調度資源。指DataWorks的公共資源池。當DataWorks節點并發量很高，調度資源緊張時會進入等待調度狀態。直到占用到資源，節點才開始執行下發任務。

  • 自定義調度資源。指將您自助購買的ECS配置為可以執行分發任務的調度服務器。阿里云賬號可以新建自定義調度資源，調度資源包括若干臺物理機或ECS，主要用于執行數據同步或其他任務。

• 獨享資源

  DataWorks提供獨享調度、獨享數據集成和DataStudio運行空間（生產環境）資源供您選擇，以獲取最優性能保障。詳情請參見DataWorks資源組概述。

項目設置

在項目開發過程中，部分項目的設置操作需要項目Owner來執行。例如，設置項目是否允許全表掃描、設置項目默認打開2.0新類型等。詳情請參見項目操作。

安全管理

人員管理

安全管理包括人員管理、角色管理、權限管理等。通過DataWorks使用MaxCompute時，由于DataWorks和MaxCompute有各種權限模型，因此您需要理清楚兩個產品之間的權限關系，再從業務需求出發進行權限管理。安全管理過程中，您需要了解如何進行用戶授權、跨項目的資源共享、設置項目的數據保護功能、Policy授權等操作：

• 權限管理和安全參數列表。

• 安全管理案例：提供從真實客戶業務需求轉化的安全案例。

角色管理

權限管理

費用管理

無

資源預算是在使用之前進行成本預估。基于MaxCompute的計費方式，很多業務無法更準確地預估成本，因此在整個業務開發過程中需要進行費用管理，主要需要關注：

• 產品的計費定價，詳情請參見計費方式。

• 產品欠費預警與停機策略，詳情請參見欠費預警與停機策略。

• 包年包月升級和降配操作，詳情請參見升級和降配。

• 包年包月續費，詳情請參見續費管理。

• 產品支持按量計費和包年包月轉換，詳情請參見計費方式轉換。

• 查看MaxCompute賬單信息，詳情請參見賬單查看和MaxCompute賬單用量明細分析。