Livy是一個(gè)通過REST接口或RPC client庫與Spark服務(wù)進(jìn)行交互的服務(wù)。Livy支持提交Spark作業(yè)或者Spark代碼片段,同步或者異步的進(jìn)行結(jié)果檢索以及Spark Context上下文管理,Livy簡化了Spark和應(yīng)用程序服務(wù)器之間的交互,從而使Spark能夠用于交互式Web或移動應(yīng)用程序。
背景信息
Livy還支持如下功能:
- 長時(shí)間運(yùn)行的Spark Context,可以被多個(gè)Spark作業(yè)和客戶端使用。
- 在多個(gè)Spark作業(yè)和客戶端之間共享緩存RDD。
- 同時(shí)管理多個(gè)Spark Context。
- 可以通過預(yù)編譯的JAR包、代碼片段、Java API和Scala API等多種方式提交作業(yè)。
- 支持一定的安全機(jī)制。
提交作業(yè)
您可以通過以下方式提交作業(yè):