安裝第三方插件，可以在不修改Flume源碼的情況下，以插件的方式定制您需要的功能。例如，添加數(shù)據(jù)源和存儲組件等。通過添加JindoFS SDK的插件，可以支持通過Flume直接將數(shù)據(jù)寫入OSS。本文為您介紹如何安裝第三方插件。

前提條件

  • 已獲取第三方插件的JAR包。
  • 已創(chuàng)建集群，并且選擇了Flume服務，詳情請參見創(chuàng)建集群。

操作步驟

支持以下方式：
  • 方式一：修改FLUME_CLASSPATH參數(shù)來添加JAR包。
    1. 在E-MapReduce控制臺Flume服務的配置頁面，在搜索框中輸入?yún)?shù)FLUME_CLASSPATH。
    2. 給FLUME_CLASSPATH的參數(shù)值添加獲取的JAR包，多個CLASSPATH使用英文冒號（:）隔開。flume_jar
    3. 保存配置。
      1. 單擊下方的保存。
      2. 在彈出的對話框中，輸入執(zhí)行原因，單擊保存。
    說明 本文以EMR集群為例介紹，非EMR集群請您根據(jù)實際情況修改flume-env.sh中FLUME_CLASSPATH的參數(shù)值。
  • 方式二：上傳第三方的JAR包至$FLUME_HOME/lib/目錄下。
    說明 本文示例中的$FLUME_HOME表示Flume的安裝路徑，配置第三方插件時，請根據(jù)實際情況指定路徑。EMR集群中Flume的軟件安裝目錄為/opt/apps/FLUME/flume-current/lib。
  • 方式三：上傳第三方的JAR包至$FLUME_HOME/plugins.d/目錄下。
    相關(guān)的目錄：
    • $FLUME_HOME/plugins.d/lib：插件本身的JAR包。
    • $FLUME_HOME/plugins.d/libext：插件依賴的JAR包。
    • $FLUME_HOME/plugins.d/native：依賴的本地庫文件。例如，SO文件。
說明 EMR集群中，通常普通的插件都直接放在/opt/apps/FLUME/flume-current/lib目錄中，如果需要上傳有復雜依賴的插件，特別是有native依賴的插件，請創(chuàng)建/opt/apps/FLUME/flume-current/plugins.d目錄，并按照方式三部署。