數倉規劃是基于Dataphin建設數據中臺的第一步,同時也是數據體系的頂層設計中至關重要的一步。在開始數據開發前,需要完成數據倉庫的規劃,包括定義數據板塊、項目、數據源、計算源和統計周期。本文將指導您完成本教程的規劃數倉。
背景信息
數據板塊:數據板塊是邏輯空間的重要組成部分,是基于業務特征劃分的命名空間。 本教程以dataphin_tutorial為例,作為數據板塊的命名空間。
計算源:為數據的處理提供計算及存儲資源。
項目:項目是Dataphin的基本組織單元,是進行多用戶隔離和訪問控制的主要邊界。本教程以dataphin_tutorial為例,作為項目名稱。
數據源:業務數據中讀取原始數據和寫入數據倉庫過程中的數據。
步驟一:創建數據板塊
在Dataphin首頁,單擊頂部菜單欄的規劃。
按照下圖操作指引,進入新建數據板塊對話框。
在生產開發類型步驟中選擇Basic模式并單擊下一步。
在板塊定義中,配置板塊的基礎信息與業務信息。
參數
描述
英文名
輸入為dataphin_tutorial。
名稱
輸入為入門教程。
描述信息
輸入簡單的描述。例如,入門教程。
圖標
選擇圖標。
板塊架構師
負責板塊信息設置,包括基本信息更新、業務信息更新、單元管理等。
業務負責人
為板塊數據的業務使用穩定性負責,可根據需要進行選擇。
數據負責人
為板塊數據生產質量保障負責,可根據需要進行選擇。
單擊確定。
步驟二:創建MaxCompute計算源
按照下圖操作指引,進入新建計算源頁面。
在新建計算源頁面中,配置參數。
參數
描述
計算源類型
選擇MaxCompute。
Endpoint
默認為Dataphin實例計算引擎的Endpoint,不支持修改。
AccessKey ID
訪問密鑰中的AccessKey ID,可以通過用戶信息管理頁面獲取。
AccessKey Secret
訪問密鑰中的AccessKey Secret,可以通過用戶信息管理頁面獲取。
MaxCompute項目
輸入dataphin_tutorial(在阿里云創建的MaxCompute(ODPS)項目名稱)。
外部項目
不勾選。
計算源名稱
輸入dataphin_tutorial。
描述
輸入dataphin_tutorial項目的離線計算源。
單擊校驗并提交,完成項目計算源的創建。
步驟三:創建項目
按照下圖操作指引,進入新建項目對話框。
在生產開發類型步驟中選擇Basic模式后,單擊下一步。
在項目定義步驟中,配置歸屬板塊、基本信息、業務信息、安全設置、更多設置。
參數
描述
數據板塊
選擇dataphin_tutorial。
項目英文名
輸入dataphin_tutorial。
項目名稱
輸入dataphin_tutorial。
計算源類型
離線引擎:開啟離線引擎并選擇MaxCompute。如下圖所示:
MAXC:選擇在MaxCompute創建的dataphin_tutorial計算源。
空間類型
選擇通用層。
說明空間類型可選擇應用層、中間層、貼源層、通用層。
應用層(ADS):面向業務需求,定義生成可應用于不同場景的個性化、多樣化的數據指標。
中間層(CDM):經過加工、清洗、匯總后的數據。
貼源層(ODS):是在STG層數據加工匯總后形成的業務系統的原始數據。
通用層:一般用于通用任務或者同時做多種類型的任務開發。
安全設置
使用默認配置。
更多設置
使用默認配置。
單擊確定。
步驟四:創建源數據源
在Dataphin首頁,單擊頂部菜單欄的管理中心。
按照下圖操作指引,進入新建數據源對話框。
在關系型數據源中選擇MySQL。
在新建MySQL數據源對話框,配置數據源信息。
參數
描述
數據源名稱
輸入為dataphin_tutorial。
版本
選擇為MySQL8。
數據源描述
填寫數據源簡單描述。例如,入門教程的源數據。
數據源配置
選擇“生產”數據源。
標簽
默認不填。
JDBC URL
輸入格式為
jdbc:mysql://host:port/dataphin
。host:port
信息可以登錄MySQL實例詳情頁進行查看。如下圖所示:重要連接地址請確保已設置Dataphin的IP至數據庫白名單中,否則可能導致連接失敗。具體操作,請參見附錄:數據源白名單配置。
使用內網地址時請確保數據庫與Dataphin實例在同一地域。更多信息,請參見附錄:網絡連通解決方案。
用戶名、密碼
輸入為dataphin。
SSL加密
若您的MySQL數據源已配置SSL加密,您可以單擊開啟并上傳Truststore證書和填寫Truststore證書密碼進行加密傳輸。
類型
選擇阿里云數據庫。
說明訪問方式可以根據數據庫創建時網絡類型進行選擇。
公網數據庫:可通過公網訪問的數據庫。
阿里云數據庫:在阿里云上創建的數據庫。
ECS(VPC)自建數據庫:使用(VPC)自建的數據庫。
高級設置
使用默認配置。
單擊測試連接。
連通性測試通過后,單擊確定。