阿里云數據湖構建(Data Lake Formation,簡稱 DLF)是一款全托管的快速幫助用戶構建云上數據湖及Lakehouse的服務,為客戶提供了統一的元數據管理、統一的權限與安全管理、便捷的數據入湖能力以及一鍵式數據探索能力。DLF可以幫助用戶快速完成云原生數據湖及Lakehouse方案的構建與管理,并可無縫對接多種計算引擎,打破數據孤島,洞察業務價值。
產品定價
產品功能架構
元數據管理,通過控制臺查看和管理數據湖中元數據庫和表的信息,通過新增元數據庫的方式操作元數據,集成到第三方應用服務。并支持多版本管理、可通過元數據發現和入湖任務自動生成元數據。
入湖基礎操作,通過入湖任務的方式將分散在MySQL、Kafka和PolarDB等數據統一存儲,入湖過程如果沒有定義元數據信息,入湖任務會自動生成元數據的表信息。
數據權限管理,可以加強湖上數據權限控制,保障數據安全。可支持對元數據庫、元數據表、元數據列三種粒度的權限。
數據探索,為您提供一鍵式數據探索能力,可支持Spark 3.0 SQL語法,可以保存歷史查詢,預覽數據,導出結果,一鍵生產tpc-ds測試數據集。
湖管理,將為您提供對湖內數據存儲的分析及優化建議,加強對數據生命周期管理,優化使用成本,方便您進行數據運維管理。
應用場景
數據分析場景,通過元數據發現、數據探索能力,可以快速的對OSS內結構化、半結構化數據進行分析、探索。
結合E-MapReduce、OSS兩個產品,DLF協助客戶快速構建云上數據湖。
結合MaxCompute、DataWorks、E-MapReduce3個產品,DLF協助客戶快速構建湖倉一體架構。
結合Databricks、OSS產品,構建云上全托管Lakehouse數據架構。
文檔內容是否對您有幫助?