如何在OSS控制臺上傳資源文件？

1. 在實時計算管理控制臺上查看當前工作空間綁定的OSS Bucket信息。

   

   OSS Bucket信息如下圖所示。

2. 登錄OSS管理控制臺，上傳資源文件至目標Bucket的/artifacts/namespaces目錄下。

3. 在實時計算開發控制臺左側導航欄，單擊文件管理，查看通過OSS控制臺上傳的資源文件。

   

如何配置作業運行參數？

1. 登錄實時計算控制臺。

2. 單擊目標工作空間操作列下的控制臺。

3. 在運維中心 > 作業運維頁面，單擊目標作業名稱。

4. 在部署詳情頁簽，單擊運行參數配置區域右側編輯。

5. 在其他配置項中，配置代碼信息。代碼示例如下。

   請確保鍵值對之間冒號后存在一個空格。

   task.cancellation.timeout: 180s

6. 單擊保存。

如何開啟GC日志？

env.java.opts:>--XX: +PrintGCDetails-XX:+PrintGCDateStamps-Xloggc:/flink/log/gc.log-XX:+UseGCLogFileRotation-XX:NumberOfGCLogFiles=2-XX:GCLogFileSize=50M

如何查找引發告警的作業？

如何查看工作空間ID等信息？

如何查看AccessKey ID和AccessKey Secret信息？

如何查看當前作業的Flink版本？

如何關閉系統自動開通的Prometheus監控服務？

如果您不再需要對實時計算Flink版進行監控，您可以按照如下步驟卸載Prometheus監控服務：

1. 登錄Prometheus控制臺。

2. 在左側導航欄單擊實例列表，進入可觀測監控Prometheus版的實例列表頁面。

3. 在標簽篩選下拉列表中，選擇目標工作空間的ID或名稱。

4. 單擊實例類型為Prometheus for Flink Serverless的實例對應操作列的卸載。

5. 在彈出的對話框中，單擊確認。

如何設置白名單？

登錄實時計算控制臺提示當前賬號缺少權限

• 問題詳情

  登錄實時計算控制臺時提示：權限不足無法完成本次操作，需要操作描述符[stream:DescribeVvpInstances]和資源描述符[acs:stream:cn-beijing:1418886*********:vvpinstance/*]，請聯系主賬號管理員。

  

• 問題原因

  當前登錄身份缺少查看Flink工作空間的權限，或僅具有某個資源組的權限。

• 解決方法

  • 如果您僅具有某個資源組權限，請在控制臺上方選擇對應資源組，并選擇對應地域查看目標工作空間。

    

  • 如果當前身份未被授權，參考RAM授權操作為對應RAM用戶或角色添加具有查看Flink工作空間操作的權限策略。

    以下權限策略包含了查看Flink工作空間的權限，您選擇添加以下任意一個即可。

    • 系統策略：AliyunStreamReadOnlyAccess（只讀訪問流計算服務）或AliyunStreamFullAccess（流計算服務所有權限），詳情請參見系統權限策略。

    • 自定義策略：stream:DescribeVvpInstances（查看工作空間），詳情請參見自定義權限策略。

實時計算Flink版如何訪問公網？

• 背景說明

  實時計算Flink版默認不具備訪問公網的能力，但阿里云提供的NAT網關可以實現VPC網絡與公網網絡互通，以滿足部分實時計算Flink版用戶通過UDX或Datastream代碼訪問公網的需求。

• 解決方案

  通過在VPC中創建NAT網關，并創建SNAT條目，將實時計算Flink版所在的交換機綁定至彈性公網IP（EIP），即可通過EIP訪問公網。具體配置方法請參見：

  1. 創建NAT網關，詳情請參見創建NAT網關。

  2. 創建交換機粒度的SNAT條目并綁定彈性公網IP，詳情請參見創建SNAT條目。

如何訪問跨VPC的其他服務？

如何在Flink開發頁面進行網絡探測？

Flink支持網絡探測能力，您可以在Flink開發控制臺進行網絡探測，具體步驟如下：

1. 登錄實時計算控制臺。

2. 單擊目標工作空間操作列下的控制臺。

3. 單擊頁面上方的探測圖標。

   

4. 通過輸入Endpoint或者IP地址的方式檢測Flink作業運行的環境與您的上下游系統是否聯通。

   重要

   輸入Endpoint時，請刪除后面的:<port>，并將<port>放到網絡探測的Port欄輸入。

   

如何解決Flink依賴沖突問題？

• 問題現象

  • 有明顯報錯，且引發錯誤的為Flink或Hadoop相關類。

    java.lang.AbstractMethodError
    java.lang.ClassNotFoundException
    java.lang.IllegalAccessError
    java.lang.IllegalAccessException
    java.lang.InstantiationError
    java.lang.InstantiationException
    java.lang.InvocationTargetException
    java.lang.NoClassDefFoundError
    java.lang.NoSuchFieldError
    java.lang.NoSuchFieldException
    java.lang.NoSuchMethodError
    java.lang.NoSuchMethodException

  • 無明顯報錯，但會引起一些不符合預期的現象，例如：

    • 日志不輸出或log4j配置不生效。

      該類問題通常是由于依賴中攜帶了log4j相關配置導致的。需要排查作業JAR包中是否引入了log4j配置的依賴，可以通過在dependency中配置exclusions的方式去掉log4j配置。

      說明

      如果必須要使用不同版本的log4j，需要使用maven-shade-plugin將log4j相關的class relocation掉。

    • RPC調用異常。

      Flink的Akka RPC調用出現依賴沖突可能導致的異常，默認不會顯示在日志中，需要開啟Debug日志進行確認。

      例如，Debug日志中出現Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx}，但是JM日志在Registering TaskManager with ResourceID xxx后，沒有下文，直到資源請求超時報錯NoResourceAvailableException。此外TM持續報錯Cannot allocate the requested resources. Trying to allocate ResourceProfile{xxx}。

      原因：開啟Debug日志后，發現RPC調用報錯InvocationTargetException，該報錯導致TM Slot分配到一半失敗出現狀態不一致，RM持續嘗試分配Slot失敗無法恢復。

• 問題原因

  • 作業JAR包中包含了不必要的依賴（例如基本配置、Flink、Hadoop和log4j依賴），造成依賴沖突從而引發各種問題。

  • 作業需要的Connector對應的依賴未被打入JAR包中。

• 排查方法

  • 查看作業pom.xml文件，判斷是否存在不必要的依賴。

  • 通過jar tf foo.jar命令查看作業JAR包內容，判斷是否存在引發依賴沖突的內容。

  • 通過mvn dependency:tree命令查看作業的依賴關系，判斷是否存在沖突的依賴。

• 解決方案

  • 基本配置建議將scope全部設置為provided，即不打入作業JAR包。

    • DataStream Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataStream Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Java

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

    • DataSet Scala

      <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_2.11</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
      </dependency>

  • 添加作業需要的Connector對應的依賴，并將scope全部設置為compile（默認的scope是compile），即打入作業JAR包中，以Kafka Connector為例，代碼如下。

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>

  • 其他Flink、Hadoop和log4j依賴不建議添加。但是：

    • 如果作業本身存在基本配置或Connector相關的直接依賴，建議將scope設置為provided，示例如下。

      <dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <scope>provided</scope>
      </dependency>

    • 如果作業存在基本配置或Connector相關的間接依賴，建議通過exclusion將依賴去掉，示例如下。

      <dependency>
          <groupId>foo</groupId>
            <artifactId>bar</artifactId>
            <exclusions>
              <exclusion>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
             </exclusion>
          </exclusions>
      </dependency>

如何解析Flink作業所依賴服務的域名？