日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

配置作業部署信息

在作業啟動前,您需要配置作業部署信息。本文為您介紹如何配置作業部署信息。

前提條件

  • 其他阿里云賬號或RAM用戶等訪問項目空間,并進行作業資源配置等操作時,則需要為其進行授權,詳情請參見項目空間授權

  • 已完成作業部署,詳情請參見部署作業

操作步驟

  1. 登錄實時計算控制臺

  2. 單擊目標工作空間操作列下的控制臺

  3. 運維中心 > 作業運維頁面,單擊目標作業名稱。

  4. 部署詳情頁簽,單擊目標區域右側的編輯

    說明

    因為SQL作業基礎配置需要返回到數據開發 > ETL頁面,才能編輯作業草稿并重新部署。所以在單擊基礎配置區域右側的編輯后,您還需要在彈出的對話框中,單擊確定

  5. 修改作業部署信息。

    您可以修改以下幾個方面的部署信息:

  6. 單擊保存

基礎配置

作業類型

說明

SQL作業

包括SQL代碼、引擎版本附加依賴文件備注作業標簽信息。參數含義詳情請參見SQL作業開發

說明

單擊基礎配置右側的編輯后,需要返回到SQL開發頁面編輯作業草稿并重啟部署。如果您需要繼續進行編輯,請單擊確定

JAR作業

包括引擎版本JAR UriEntry Point ClassEntry Point Main Arguments附加依賴文件備注Kerberos集群作業標簽。參數含義詳情請參見部署作業

Python作業

包括引擎版本Python UriEntry ModuleEntry Point Main ArgumentsPython LibrariesPython Archives附加依賴文件備注Kerberos集群作業標簽。參數含義詳情請參見部署作業

運行參數配置

參數

說明

系統檢查點間隔

定時執行系統檢查點的時間間隔。如果不填寫,將會關閉系統檢查點。

系統檢查點超時時間

默認值為10分鐘,到達默認值后系統檢查點將生成失敗。

兩次系統檢查點間最短間隔

兩次系統檢查點之間的最短時間間隔,如果系統檢查點最大并行度是1,則該配置確保兩個系統檢查點之間有一個最短時間間隔。

State數據過期時間

即TTL(Time-to-Live),狀態信息的存活時間,單位為小時,默認值為36小時,即作業狀態信息將在36小時后自動過期并清除。

重要

此處默認值根據云上最佳實踐的經驗值設置,與開源的默認值不同(開源默認值為0,表示狀態信息永不過期)。

當數據首次進入系統并被處理后,它會存儲在狀態內存中。當下一次相同主鍵的數據到來時,系統會使用之前存儲的狀態數據進行計算,并更新其訪問時間。這一過程是實時計算的核心,因為它依賴于數據的持續流動。如果數據在設定的TTL時間窗口內未被再次訪問,它將被系統視為過期,并從狀態存儲中清除。

通過合理設置TTL的值,不僅可以維持計算的精確性,還能及時清理陳舊數據,有效減少狀態內存的占用,進而降低系統內存負擔,提升計算效率和系統穩定性。

Flink重啟策略

在Flink作業中,任務失敗與重啟的機制依賴于作業的拓撲結構。即當多個任務(Task)在短時間內失敗時,它們之間的連接關系會影響重啟行為:

  • 對于沒有相互連接的任務,每個失敗的任務都會獨立重啟,并且每次重啟都會被分別記錄。

  • 對于相互連接的任務,一旦某個任務失敗,與其相連的任務也會隨之重啟,但這樣的一系列重啟只會被計為一次事件。

只有沒配置重啟策略的情況下,Flink才會根據系統檢查點開啟與否來決定是否要重啟作業。如果配置了重啟策略,則會按照配置的策略進行重啟。該參數取值如下:

  • Failure Rate:基于失敗率重啟。

    選擇基于失敗率重啟后,您還需要設置檢測Failure Rate的時間間隔時間間隔內的最大失敗次數每次重啟時間間隔

  • Fixed Delay(默認值):固定間隔重啟。

    選擇基于固定間隔重啟后,您可以結合實際業務場景修改嘗試重啟的次數每次重啟時間間隔參數的取值。

  • No Restarts:不會重啟。

其他配置

在此設置其他Flink配置。例如akka.ask.timeout: 10

日志配置

參數

說明

日志歸檔

默認已開啟日志歸檔功能。開啟日志歸檔后,您可以在作業日志頁面查看歷史作業實例的日志,詳情請參見查看歷史作業實例日志

說明
  • 在VVR 3.x版本,僅VVR 3.0.7及以上版本支持開啟日志歸檔功能。

  • 在VVR 4.x版本,僅VVR 4.0.11及以上版本支持開啟日志歸檔功能。

歸檔日志有效期

歸檔日志有效期默認為7天。

根日志級別

日志級別從低到高順序如下:

  1. TRACE:比DEBUG更細粒度的信息。

  2. DEBUG:系統運行狀態的信息。

  3. INFO:重要或者您感興趣的信息。

  4. WARN:系統可能出現潛在錯誤的信息。

  5. ERROR:系統出現錯誤和異常的信息。

類日志等級

填寫日志名稱和日志級別。

日志模板

可以選擇為default系統模板或自定義模板。選擇自定義模板時支持將日志輸出到其他存儲,詳情請參見配置作業日志輸出

相關文檔