Spark是大數據領域十分流行的引擎，面向數據湖場景，Spark本身內置的數據源連接器，可以很方便的擴展接口。Spark既支持使用SQL，又支持編寫多種語言的DataFrame代碼，兼具易用性和靈活性。Spark一站式的引擎能力，可以同時提供SQL、流、機器學習、圖計算的能力。傳統Spark集群版的方案架構圖如下所示：

但是對于傳統Spark集群版，用戶首先需要部署一套開源大數據基礎組件：Yarn、HDFS、Zookeeper等，可能會存在以下問題：

• 使用門檻高：開發者需要同時熟悉多種大數據組件，才能完成開發與運維相關工作，如果遇到疑難問題，還要去深入研究社區源碼。

• 運維成本高：企業往往需要一個運維團隊，以運維多套開源組件。運維團隊的職責包括配置資源節點、配置和部署開源軟件、監控開源組件、開源組件升級、集群擴縮容等。典型的，為了滿足企業級需求，比如權限隔離、監控報警等，還需要做定制化開發。

• 資源成本高：Spark作業負載往往具備波峰波谷的特點，在低峰期，Spark集群的空閑資源是浪費的；Spark集群的管控組件（比如，集群Master節點，Zookeeper、Hadoop等后臺進程的資源開銷等），是不會對用戶產生價值的，屬于額外開銷。

• 彈性能力不足：在業務高峰期，企業往往需要能夠準確預估資源需求，并及時擴容機器。如果擴容過多，則會存在資源浪費，如果擴容過少，則會影響業務。而且集群擴容過程較復雜，時間也會較長，并且云上容易出現資源庫存不足的問題。

Serverless Spark是云原生數據湖團隊基于Apache Spark打造的服務化的大數據分析與計算服務。方案架構圖如下所示：

Serverless Spark將Spark、Serverless、云原生技術，深度整合到一起，相對于傳統開源Spark集群版方案，具體以下優勢：

• 入門門檻低：Serverless Spark屏蔽掉了底層的基礎組件，提供簡單的API、腳本以及控制臺使用方式。開發者只需要了解開源Spark的使用方式就可以進行大數據業務開發。

• 0運維：用戶只需通過產品接口管理Spark作業即可，無需關心服務器配置以及Hadoop集群配置，無需擴縮容等運維操作。

• 作業級細粒度的彈性能力：Serverless Spark按照Driver和Executor的粒度創建資源，相比于集群版的計算節點，粒度要細很多，粒度細的好處是庫存不足的問題會大大降低。支持秒級拉起，目前每分鐘可以拉起500~1000個計算節點，可以快速響應業務資源需求。

• 更低成本：每作業，每賬單，不使用不收費。用戶無需為管控資源付費，無需為低峰期空閑的計算資源付費。

• 良好的性能：云原生數據湖團隊對Spark引擎做了深度定制和優化，特別是針對云產品，比如OSS，典型場景下，性能可以提升3~5倍。

  說明

  關于進一步的性價比對比數據，您可以參考性價比白皮書中的測試結果。

• 企業級能力：Serverless Spark跟Serverless Presto共用元數據，可以通過GRANT、REVOKE語句對子用戶進行權限管理。提供服務化的UI服務，相較于社區HistoryServer方式，無論作業多復雜，運行時間多長，都可以秒級打開。