作業(yè)啟動
完成作業(yè)開發(fā)和部署后,您需要在作業(yè)運(yùn)維頁面啟動作業(yè)至運(yùn)行階段。此外,作業(yè)在停止后需要恢復(fù)、更新非動態(tài)生效的參數(shù)配置后需要生效時(shí),也需要啟動作業(yè)。本文為您介紹如何啟動作業(yè)。
前提條件
已完成作業(yè)部署,詳情請參見部署作業(yè)。
使用限制
僅流作業(yè)支持填寫啟動選項(xiàng)。
僅實(shí)時(shí)計(jì)算引擎VVR 4.0.11及以上版本支持State兼容性檢測。
注意事項(xiàng)
當(dāng)RAM用戶、RAM角色或其他阿里云賬號在啟動作業(yè)時(shí),請確保其具有目標(biāo)項(xiàng)目空間的訪問權(quán)限,詳情請參見項(xiàng)目空間授權(quán)和權(quán)限管理。
在啟動作業(yè)時(shí),如果您選擇從最新狀態(tài)或指定狀態(tài)啟動作業(yè)時(shí),系統(tǒng)會進(jìn)行State兼容性檢測。請謹(jǐn)慎啟動存在不兼容情況的作業(yè),因?yàn)閱雍罂赡軙霈F(xiàn)啟動失敗或者運(yùn)行結(jié)果等不符合預(yù)期的問題。詳情請參見Flink State兼容性參考。
操作步驟
進(jìn)入作業(yè)啟動界面。
具有owner角色的成員登錄Flink開發(fā)控制臺。
在頁面頂部,選擇目標(biāo)項(xiàng)目空間名稱。
在
頁面的下拉列表中,選擇流作業(yè)或批作業(yè)。
在目標(biāo)作業(yè)名稱右側(cè),單擊操作列下的啟動。
(可選)流作業(yè)需要填寫啟動選項(xiàng)信息。
無狀態(tài)啟動
當(dāng)您是新上線作業(yè)或者無法復(fù)用State時(shí),需要選擇無狀態(tài)啟動。此外,您需要根據(jù)業(yè)務(wù)情況決定是否打開自動調(diào)優(yōu)。
策略
說明
指定源表開始時(shí)間
選中指定源表開始時(shí)間并指定具體的時(shí)間信息。
僅日志服務(wù)SLS和消息隊(duì)列Kafka支持在界面上設(shè)置源表開始時(shí)間。
作業(yè)啟動界面指定的讀取數(shù)據(jù)時(shí)間優(yōu)先級高于作業(yè)DDL代碼里設(shè)置的startTime。
說明不是所有連接器都支持配置startTime參數(shù),詳情請參見各連接器WITH參數(shù)是否包含startTime,例如日志服務(wù)SLS WITH參數(shù)。
只有全新啟動作業(yè)并指定了startTime,startTime才生效。如果基于系統(tǒng)檢查點(diǎn)或作業(yè)快照啟動作業(yè),指定了startTime不會生效。
配置自動調(diào)優(yōu)
打開該開關(guān)后,您需要選擇調(diào)優(yōu)模式:
智能調(diào)優(yōu):系統(tǒng)將在資源使用率比較低時(shí),自動降低資源配置,在資源使用率提高到一定閾值時(shí),再自動提高資源配置。詳情請參見開啟并配置智能調(diào)優(yōu)。
定時(shí)調(diào)優(yōu):選擇定時(shí)調(diào)優(yōu)后,您需要在下拉列表中選擇定時(shí)計(jì)劃。一個(gè)計(jì)劃中可以包含多組資源和時(shí)間點(diǎn)的對應(yīng)關(guān)系。您可以根據(jù)各時(shí)間段的資源使用情況,配置對應(yīng)的資源。詳情請參見開啟并配置定時(shí)調(diào)優(yōu)。
有狀態(tài)啟動
您可以根據(jù)業(yè)務(wù)情況選擇具體的啟動策略,以及決定是否打開自動調(diào)優(yōu)。
策略
說明
從最新狀態(tài)恢復(fù)
從快照或者系統(tǒng)檢查點(diǎn)的最新狀態(tài)進(jìn)行恢復(fù)。如果您選擇從最新狀態(tài)啟動作業(yè)時(shí),F(xiàn)link系統(tǒng)會檢測SQL作業(yè)變化(SQL、Flink運(yùn)行參數(shù)配置和引擎版本)。
當(dāng)檢測到作業(yè)發(fā)生變化時(shí),建議單擊狀態(tài)兼容性檢測旁的點(diǎn)擊檢測檢查兼容性,并依據(jù)兼容性結(jié)果后決定后續(xù)行為。兼容性結(jié)果含義及建議,詳情請參見兼容性。
從指定狀態(tài)恢復(fù)
選擇指定的快照,快照創(chuàng)建步驟詳情請參見作業(yè)狀態(tài)集管理。
從其他作業(yè)恢復(fù)
選擇從其他作業(yè)恢復(fù)后,您需要指定目標(biāo)作業(yè)及對應(yīng)的快照,來進(jìn)行作業(yè)恢復(fù)。支持作業(yè)間快照的共享,但需要滿足作業(yè)間的狀態(tài)的兼容性,詳情請參見作業(yè)狀態(tài)集管理。
允許忽略部分算子狀態(tài)(AllowNonRestoredState)
說明僅JAR作業(yè)支持。
默認(rèn)情況下,F(xiàn)link系統(tǒng)會嘗試將整個(gè)快照與正在提交的作業(yè)匹配。作業(yè)的修改引起算子狀態(tài)的變化,會出現(xiàn)任務(wù)不能恢復(fù)的情況。此時(shí)您可以打開此開關(guān),F(xiàn)link系統(tǒng)將跳過無法匹配的狀態(tài),讓作業(yè)先正常啟動起來。允許忽略部分算子狀態(tài)詳情請參見Allow None-Restored State。
配置自動調(diào)優(yōu)
打開該開關(guān)后,您需要選擇調(diào)優(yōu)模式:
智能調(diào)優(yōu):系統(tǒng)將在資源使用率比較低時(shí),自動降低資源配置,在資源使用率提高到一定閾值時(shí),再自動提高資源配置。詳情請參見開啟并配置智能調(diào)優(yōu)。
定時(shí)調(diào)優(yōu):選擇定時(shí)調(diào)優(yōu)后,您需要在下拉列表中選擇定時(shí)計(jì)劃。一個(gè)計(jì)劃中可以包含多組資源和時(shí)間點(diǎn)的對應(yīng)關(guān)系。您可以根據(jù)各時(shí)間段的資源使用情況,配置對應(yīng)的資源。詳情請參見開啟并配置定時(shí)調(diào)優(yōu)。
單擊啟動。
頁面,查看作業(yè)運(yùn)行狀態(tài),詳情請參見
相關(guān)文檔
作業(yè)啟動后,如果您需要修改作業(yè)運(yùn)行參數(shù),請參見運(yùn)行參數(shù)配置。部分參數(shù)也支持動態(tài)更新,減少作業(yè)啟停帶來的業(yè)務(wù)斷流時(shí)間,詳情請參見動態(tài)擴(kuò)縮容與參數(shù)動態(tài)更新。
作業(yè)啟動后,如果您需要進(jìn)行作業(yè)的數(shù)據(jù)溯源和追蹤,定位問題或者評估影響面,請參見查看血緣關(guān)系。
如果您需要了解企業(yè)級狀態(tài)后端存儲GeminiStateBackend,以及其與RocksDBStateBackend的性能對比情況,請參見企業(yè)級狀態(tài)后端存儲介紹。
作業(yè)啟動、停止的相關(guān)API,請參見作業(yè)實(shí)例。