湖格式管理
更新時(shí)間：
本文主要介紹湖格式管理中自動(dòng)化湖管理策略。
功能介紹
湖格式管理主要提供自動(dòng)化的湖格式優(yōu)化策略，目前包括的策略如下：
策略 | 所屬類型 | 默認(rèn)閾值 | 描述 |
AutoOptimizeByCommitVersion | Optimize | 17 | 每間隔固定的版本，觸發(fā)Optimize任務(wù) |
AutoVacuumByCommitVersion | Clean | 13 | 每間隔固定的版本，觸發(fā)過(guò)期文件的Clean任務(wù) |
說(shuō)明
目前僅支持Delta Lake數(shù)據(jù)湖格式，更多數(shù)據(jù)湖格式正在研發(fā)中。
目前該功能公測(cè)中，暫不收費(fèi)。
場(chǎng)景說(shuō)明
部分場(chǎng)景下（如Streaming）寫入湖格式，會(huì)生成很多小文件，影響后續(xù)的查詢效率。
湖格式表具有多版本/快照，數(shù)據(jù)目錄下存在歷史版本的過(guò)期數(shù)據(jù)，如不及時(shí)刪除，浪費(fèi)存儲(chǔ)資源。
操作步驟
查看優(yōu)化策略
打開數(shù)據(jù)湖構(gòu)建控制臺(tái)
點(diǎn)擊菜單湖管理-湖格式管理
查看優(yōu)化策略列表，如下圖所示
設(shè)置優(yōu)化策略閾值
在優(yōu)化策略列表頁(yè)，點(diǎn)擊設(shè)置閾值，可以為策略設(shè)置執(zhí)行的閾值，滿足閾值后，將會(huì)自動(dòng)執(zhí)行優(yōu)化策略。
禁用優(yōu)化策略
在優(yōu)化策略列表頁(yè)，如果該策略已啟用，此時(shí)點(diǎn)擊禁用，可以關(guān)閉優(yōu)化策略。
啟用優(yōu)化策略
在優(yōu)化策略列表頁(yè)，如果該策略已禁用，點(diǎn)擊啟用，可以啟用優(yōu)化策略。
文檔內(nèi)容是否對(duì)您有幫助？