Livy是一個(gè)通過REST接口或RPC client庫與Spark服務(wù)進(jìn)行交互的服務(wù)。Livy支持提交Spark作業(yè)或者Spark代碼片段，同步或者異步的進(jìn)行結(jié)果檢索以及Spark Context上下文管理，Livy簡化了Spark和應(yīng)用程序服務(wù)器之間的交互，從而使Spark能夠用于交互式Web或移動應(yīng)用程序。

背景信息

Livy還支持如下功能：
  • 長時(shí)間運(yùn)行的Spark Context，可以被多個(gè)Spark作業(yè)和客戶端使用。
  • 在多個(gè)Spark作業(yè)和客戶端之間共享緩存RDD。
  • 同時(shí)管理多個(gè)Spark Context。
  • 可以通過預(yù)編譯的JAR包、代碼片段、Java API和Scala API等多種方式提交作業(yè)。
  • 支持一定的安全機(jī)制。

提交作業(yè)

您可以通過以下方式提交作業(yè)：