安裝第三方插件,可以在不修改Flume源碼的情況下,以插件的方式定制您需要的功能。例如,添加數(shù)據(jù)源和存儲組件等。通過添加JindoFS SDK的插件,可以支持通過Flume直接將數(shù)據(jù)寫入OSS。本文為您介紹如何安裝第三方插件。
前提條件
- 已獲取第三方插件的JAR包。
- 已創(chuàng)建集群,并且選擇了Flume服務,詳情請參見創(chuàng)建集群。
操作步驟
支持以下方式:
- 方式一:修改FLUME_CLASSPATH參數(shù)來添加JAR包。
- 在E-MapReduce控制臺Flume服務的配置頁面,在搜索框中輸入?yún)?shù)FLUME_CLASSPATH。
- 給FLUME_CLASSPATH的參數(shù)值添加獲取的JAR包,多個CLASSPATH使用英文冒號(:)隔開。
- 保存配置。
- 單擊下方的保存。
- 在彈出的對話框中,輸入執(zhí)行原因,單擊保存。
說明 本文以EMR集群為例介紹,非EMR集群請您根據(jù)實際情況修改flume-env.sh中FLUME_CLASSPATH
的參數(shù)值。 - 方式二:上傳第三方的JAR包至$FLUME_HOME/lib/目錄下。說明 本文示例中的
$FLUME_HOME
表示Flume的安裝路徑,配置第三方插件時,請根據(jù)實際情況指定路徑。EMR集群中Flume的軟件安裝目錄為/opt/apps/FLUME/flume-current/lib。 - 方式三:上傳第三方的JAR包至$FLUME_HOME/plugins.d/目錄下。相關(guān)的目錄:
- $FLUME_HOME/plugins.d/lib:插件本身的JAR包。
- $FLUME_HOME/plugins.d/libext:插件依賴的JAR包。
- $FLUME_HOME/plugins.d/native:依賴的本地庫文件。例如,SO文件。
說明 EMR集群中,通常普通的插件都直接放在/opt/apps/FLUME/flume-current/lib目錄中,如果需要上傳有復雜依賴的插件,特別是有native依賴的插件,請創(chuàng)建/opt/apps/FLUME/flume-current/plugins.d目錄,并按照方式三部署。