香蕉网伊在线中文字青青,好爽又高潮了十分钟试看,亚洲第一成永久网站

本文為您介紹Flink Python API作業開發的背景信息、使用限制、開發方法、調試方法和連接器使用等。

背景信息

Flink Python作業需要您在本地完成開發工作，Python作業開發完成后，再在Flink開發控制臺上部署并啟動才能看到業務效果。整體的操作流程詳情請參見Flink Python作業快速入門。

Flink工作空間已安裝下列軟件包。

由于Flink受部署環境、網絡環境等因素的影響，所以開發Python作業，需要注意以下限制：

僅支持開源Flink V1.13及以上版本。
Flink工作空間已預裝了Python 3.7.9，且Python環境中已預裝了Pandas、NumPy、PyArrow等常用的Python庫。因此需要您在Python 3.7及以上版本開發代碼。
Flink運行環境使用的是JDK1.8，如果Python作業中依賴第三方JAR包，請確保JAR包兼容JDK1.8。
VVR 4.x僅支持開源Scala V2.11版本，VVR 6.x及以上版本僅支持開源Scala V2.12版本。如果Python作業中依賴第三方JAR包，請確保使用Scala版本對應的JAR包依賴。

您可以參見以下文檔在本地完成Flink業務代碼開發，開發完成后您需要將其上傳到Flink開發控制臺，并部署上線作業。

您可以在Python自定義函數的代碼實現中，通過logging的方式，輸出日志信息，方便后期問題定位，示例如下。

@udf(result_type=DataTypes.BIGINT())
def add(i, j):    
  logging.info("hello world")    
  return i + j

日志輸出后，您可以在TaskManager的日志文件查看。

Flink所支持的連接器列表，請參見支持的連接器。連接器使用方法如下：

登錄實時計算控制臺。
單擊目標工作空間操作列下的控制臺。
在左側導航欄，單擊文件管理。
單擊上傳資源，選擇您要上傳的目標連接器的Python包。
您可以上傳您自己開發的連接器，也可以上傳Flink提供的連接器。Flink提供的連接器官方Python包的下載地址，請參見Connector列表。
在運維中心 > 作業運維頁面，單擊部署作業 > Python 作業，附加依賴文件項選擇目標連接器的Python包，配置其他參數并部署作業。
單擊部署的作業名稱，在部署詳情頁簽運行參數配置區域，單擊編輯，在其他配置中，添加Python連接器包位置信息。
如果您的作業需要依賴多個連接器Python包，例如依賴的2個包的名字分別為connector-1.jar和connector-2.jar，則配置信息如下。
```
pipeline.classpaths: 'file:///flink/usrlib/connector-1.jar;file:///flink/usrlib/connector-2.jar'
```