使用限制

• 最多創(chuàng)建20個(gè)資源計(jì)劃。

• 定時(shí)調(diào)優(yōu)和智能調(diào)優(yōu)模式互斥，如果您應(yīng)用了任何一種調(diào)優(yōu)模式，則無法應(yīng)用另外一種。如果您需要應(yīng)用另外一種調(diào)優(yōu)模式，則需要先停止正在應(yīng)用的調(diào)優(yōu)模式。

• 定時(shí)調(diào)優(yōu)中的定時(shí)計(jì)劃互斥，如果您應(yīng)用了某個(gè)定時(shí)計(jì)劃，則無法應(yīng)用其他定時(shí)調(diào)優(yōu)計(jì)劃。如果您需要應(yīng)用其他定時(shí)調(diào)優(yōu)計(jì)劃，則需要先停止正在應(yīng)用的定時(shí)調(diào)優(yōu)計(jì)劃。

• 在開啟unaligned checkpoint時(shí)，不支持調(diào)整并發(fā)。

• 智能調(diào)優(yōu)不支持Session集群部署的作業(yè)。

• 智能調(diào)優(yōu)無法解決流作業(yè)所有的性能瓶頸。

  流作業(yè)性能問題是由上下游共同決定的，如果是Flink出現(xiàn)了瓶頸，可以通過Flink資源調(diào)優(yōu)解決。但調(diào)優(yōu)策略對(duì)作業(yè)的處理模式是基于一定的假設(shè)的。例如，流量平滑變化、不能有數(shù)據(jù)傾斜、每個(gè)算子的吞吐能力能夠隨并發(fā)度的升高而線性拓展。當(dāng)業(yè)務(wù)邏輯嚴(yán)重偏離以上假設(shè)時(shí)，作業(yè)可能會(huì)存在異常。例如：

  • 無法觸發(fā)修改并發(fā)度的操作、作業(yè)不能達(dá)到正常狀態(tài)和作業(yè)持續(xù)重啟等。

  • 自定義標(biāo)量函數(shù)UDF、自定義聚合函數(shù)UDAF或自定義表值函數(shù)UDTF性能問題。

• 智能調(diào)優(yōu)無法識(shí)別外部系統(tǒng)的問題。如果出現(xiàn)外部系統(tǒng)問題，您需要自行解決。

  外部系統(tǒng)故障或訪問變慢時(shí)，會(huì)導(dǎo)致作業(yè)并發(fā)度增大，加重外部系統(tǒng)的壓力，導(dǎo)致外部系統(tǒng)雪崩。常見的外部系統(tǒng)問題如下：

  • 數(shù)據(jù)總線DataHub分區(qū)不足或消息隊(duì)列RocketMQ吞吐量不足。

  • Sink性能問題。

  • 云數(shù)據(jù)庫RDS死鎖。

• 智能調(diào)優(yōu)和定時(shí)調(diào)優(yōu)都支持基礎(chǔ)模式和專家模式。

注意事項(xiàng)

• 任何模式的調(diào)優(yōu)使作業(yè)重啟時(shí)，會(huì)導(dǎo)致作業(yè)短暫停止數(shù)據(jù)。

  說明

  VVR 8.0.1及以上版本，F(xiàn)link系統(tǒng)會(huì)先嘗試使用動(dòng)態(tài)參數(shù)更新重啟作業(yè)，再嘗試使用作業(yè)整體重啟。動(dòng)態(tài)參數(shù)更新下業(yè)務(wù)中斷時(shí)間較之作業(yè)整體重啟縮小30%-98%，具體依賴于作業(yè)狀態(tài)和邏輯，目前僅支持并發(fā)的修改。詳情請(qǐng)參見動(dòng)態(tài)擴(kuò)縮容與參數(shù)動(dòng)態(tài)更新。

• 如果您使用了DataStream作業(yè)或SQL自定義的連接器，請(qǐng)確認(rèn)作業(yè)代碼中未配置作業(yè)并發(fā)度，否則智能調(diào)優(yōu)和定時(shí)調(diào)優(yōu)將無法調(diào)整作業(yè)資源，即自動(dòng)調(diào)優(yōu)配置無法生效。

開啟并配置智能調(diào)優(yōu)

1. 進(jìn)入智能調(diào)優(yōu)開啟和配置頁面。

   1. 登錄實(shí)時(shí)計(jì)算控制臺(tái)。

   2. 單擊目標(biāo)工作空間操作列下的控制臺(tái)。

   3. 在運(yùn)維中心 > 作業(yè)運(yùn)維頁面，單擊目標(biāo)作業(yè)名稱。

   4. 在自動(dòng)調(diào)優(yōu)頁簽，單擊智能調(diào)優(yōu)模式。

2. 打開自動(dòng)調(diào)優(yōu)開關(guān)。

   開啟后，在自動(dòng)調(diào)優(yōu)頁簽頁面頂部會(huì)顯示智能調(diào)優(yōu)應(yīng)用中。如果您需要關(guān)閉已開啟的智能調(diào)優(yōu)，則可以單擊關(guān)閉智能調(diào)優(yōu)或者關(guān)閉自動(dòng)調(diào)優(yōu)右側(cè)的開關(guān)。

3. 單擊調(diào)優(yōu)配置右側(cè)的編輯后，修改智能調(diào)優(yōu)相關(guān)參數(shù)。

   參數(shù)	說明
   調(diào)優(yōu)策略	平穩(wěn)策略：通過應(yīng)用該策略，系統(tǒng)會(huì)尋找適合整個(gè)運(yùn)行周期的固定資源或定時(shí)計(jì)劃，并根據(jù)整個(gè)周期作業(yè)的運(yùn)行情況來調(diào)整作業(yè)資源，從而減少啟停行為對(duì)作業(yè)的影響。這樣做可以使作業(yè)的運(yùn)行趨于穩(wěn)定，減少不必要的變動(dòng)和波動(dòng)，最終達(dá)到收斂狀態(tài)。 說明 只有找到更適合整個(gè)周期的資源配置，才會(huì)動(dòng)態(tài)調(diào)整，否則不會(huì)修改已有資源。 自適應(yīng)策略：應(yīng)用該策略后，系統(tǒng)會(huì)根據(jù)實(shí)時(shí)作業(yè)資源和指標(biāo)信息動(dòng)態(tài)修改資源配置，更加關(guān)注當(dāng)前作業(yè)的延時(shí)和資源使用情況，并根據(jù)相關(guān)指標(biāo)的變化更快速地優(yōu)化資源適配。這樣做可以使系統(tǒng)更加敏銳地響應(yīng)作業(yè)需求，提高資源配置的效率和適應(yīng)性。
   調(diào)整間隔時(shí)間（分鐘）	作業(yè)調(diào)優(yōu)重啟生效一次之后，下一次再進(jìn)行調(diào)優(yōu)的時(shí)間間隔。
   最大CPU限制	作業(yè)自動(dòng)調(diào)整資源可以擴(kuò)容的最大CPU上限，不同的調(diào)優(yōu)策略的默認(rèn)值不同。
   最大內(nèi)存限制	作業(yè)自動(dòng)調(diào)整資源可以擴(kuò)容的最大內(nèi)存上限，不同的調(diào)優(yōu)策略的默認(rèn)值不同。
   更多參數(shù)配置	平穩(wěn)策略和自適應(yīng)策略，都可以配置如下參數(shù)： mem.scale-down.interval：調(diào)低內(nèi)存時(shí)最小觸發(fā)時(shí)間間隔。 默認(rèn)值為24小時(shí)。24小時(shí)內(nèi)，檢測(cè)內(nèi)存使用率如果小于閾值，則會(huì)降低內(nèi)存，或建議降低內(nèi)存。 parallelism.scale.max：并發(fā)度向上調(diào)整時(shí)，最大并發(fā)限制。 默認(rèn)值為-1，表示最大并發(fā)沒有限制。 說明 對(duì)于消息隊(duì)列類產(chǎn)品（例如Kafka，MQ，SLS等），自動(dòng)調(diào)優(yōu)并發(fā)的調(diào)整會(huì)受到分區(qū)數(shù)的影響，無法超過該上限。即如果您設(shè)置的并發(fā)度最大值超過其分區(qū)數(shù)，系統(tǒng)將自動(dòng)調(diào)整并發(fā)度為分區(qū)數(shù)。 parallelism.scale.min：并發(fā)度向下調(diào)整時(shí)，最小并發(fā)限制。 默認(rèn)值為1，表示最小并發(fā)為1。 delay-detector.scale-up.threshold：可以容忍的最大延遲閾值。基于消費(fèi)數(shù)據(jù)源頭的延遲，來衡量作業(yè)處理吞吐的能力。 默認(rèn)值為1分鐘。當(dāng)數(shù)據(jù)處理能力不足延遲超過1分鐘，則會(huì)通過Scale Up方式來提高作業(yè)的吞吐能力，Scale Up方式包括增加并發(fā)或者拆Chain，或建議Scale Up。 slot-usage-detector.scale-up.threshold：監(jiān)控?cái)?shù)據(jù)處理節(jié)點(diǎn)（不包括Source節(jié)點(diǎn)）空閑時(shí)間，當(dāng)VERTEX處理數(shù)據(jù)時(shí)間占比持續(xù)大于該值時(shí)，觸發(fā)調(diào)大并發(fā)度的操作，以提升資源的使用。默認(rèn)值為0.8。 slot-usage-detector.scale-down.threshold：監(jiān)控?cái)?shù)據(jù)處理節(jié)點(diǎn)（不包括Source節(jié)點(diǎn)）空閑時(shí)間，當(dāng)VERTEX處理數(shù)據(jù)時(shí)間占比持續(xù)小于該值時(shí)，觸發(fā)調(diào)小并發(fā)度的操作，以降低資源的使用。默認(rèn)值為0.2。 slot-usage-detector.scale-up.sample-interval：監(jiān)控slot空閑指標(biāo)的時(shí)間間隔，以便計(jì)算該時(shí)間間隔的平均值。 默認(rèn)值為3分鐘，與slot-usage-detector.scale-up.threshold和slot-usage-detector.scale-down.threshold結(jié)合使用。當(dāng)3分鐘內(nèi)的空閑時(shí)間平均值大于0.8或者小于0.2時(shí)，則進(jìn)行scale-up或者scale-down。 resources.memory-scale-up.max：調(diào)整單個(gè)Task Manager和Job Manager的內(nèi)存時(shí)，能調(diào)整到的最大值。 默認(rèn)值為16 GiB。TM和JM進(jìn)行智能調(diào)優(yōu)或調(diào)大并發(fā)時(shí)，內(nèi)存的上限為16 GiB。

4. 單擊保存。

開啟并配置定時(shí)調(diào)優(yōu)

智能調(diào)優(yōu)默認(rèn)調(diào)優(yōu)行為

如果您開啟了智能調(diào)優(yōu)，則系統(tǒng)默認(rèn)會(huì)從并發(fā)度和內(nèi)存兩個(gè)方面為您進(jìn)行自動(dòng)調(diào)優(yōu)：

• 智能調(diào)優(yōu)會(huì)調(diào)整作業(yè)的并發(fā)度來滿足作業(yè)流量變化所需要的吞吐。

  智能調(diào)優(yōu)會(huì)監(jiān)控消費(fèi)源頭數(shù)據(jù)的延遲變化情況、TaskManager（TM） CPU實(shí)際使用率和各個(gè)算子處理數(shù)據(jù)能力來調(diào)整作業(yè)的并發(fā)度。詳情如下：

  • 作業(yè)延遲Delay指標(biāo)正常（不超過60s），不修改當(dāng)前作業(yè)并發(fā)。

  • 作業(yè)延遲Delay指標(biāo)超過默認(rèn)閾值60s，分以下兩種情況來調(diào)整并發(fā)度：

    • 延遲正在下降，不進(jìn)行并發(fā)度調(diào)整。

    • 延遲增加并且連續(xù)上升3分鐘（默認(rèn)值）， 默認(rèn)調(diào)整作業(yè)并發(fā)度到當(dāng)前實(shí)際TPS的兩倍，但不超過設(shè)置最大的資源（默認(rèn)值為64 CU）。

  • 作業(yè)不存在延遲指標(biāo)。

    • 作業(yè)某VERTEX節(jié)點(diǎn)連續(xù)6分鐘實(shí)際處理數(shù)據(jù)時(shí)間占比超過80%，調(diào)大作業(yè)并發(fā)度使得SLOT使用率降低到50%，但不超過設(shè)置最大的資源（默認(rèn)為64 CU）。

    • 所有TM的平均利用率連續(xù)6分鐘超過80%，調(diào)高并發(fā)度使TM的CPU使用率降低到50%。

  • 所有TM的最大CPU使用率連續(xù)24小時(shí)低于20%，且VERTEX的實(shí)際處理數(shù)據(jù)時(shí)間低于20%時(shí)，調(diào)低作業(yè)的并發(fā)度使CPU和VERTEX實(shí)際處理的時(shí)間占比提高到50%。

• 智能調(diào)優(yōu)也會(huì)監(jiān)控作業(yè)的內(nèi)存使用和Failover情況，來調(diào)整作業(yè)的內(nèi)存配置。詳情如下：

  • 在JobManager GC頻繁或者發(fā)生OOM異常時(shí)，會(huì)調(diào)高JM的內(nèi)存，默認(rèn)最大調(diào)整到16 GiB。

  • 在TM GC頻繁或者發(fā)生OOM異常、HeartBeatTimeout異常時(shí)，會(huì)調(diào)高TM的內(nèi)存，默認(rèn)最大調(diào)整到16 GiB。

  • 在TM內(nèi)存使用率超過95%時(shí)，會(huì)調(diào)大TM的內(nèi)存。

  • 在TM的實(shí)際內(nèi)存使用率連續(xù)24小時(shí)低于30%時(shí)，降低TM內(nèi)存的配置，默認(rèn)最小調(diào)整到1.6 GiB。

相關(guān)文檔

• 作業(yè)智能診斷服務(wù)能夠幫您監(jiān)控作業(yè)健康狀況，全面保障您的業(yè)務(wù)穩(wěn)定可靠運(yùn)行，詳情請(qǐng)參見作業(yè)智能診斷。

• 通過作業(yè)配置和Flink SQL優(yōu)化兩方面提升Flink SQL作業(yè)性能，詳情請(qǐng)參見高性能Flink SQL優(yōu)化技巧。