Apache Kyuubi是一個分布式和多租戶網關,為數據湖查詢引擎(例如Spark、Flink或Trino等)提供SQL等查詢服務。
功能特性
多租戶:Kyuubi通過統一的身份驗證授權層為資源獲取,數據和元數據訪問提供端到端的多租戶支持。
高可用:Kyuubi基于ZooKeeper提供了負載均衡,提供了企業級的高可用性,以及無限的客戶端高并發。
多工作負載:Kyuubi可以通過一個平臺、一個數據副本和一個SQL接口輕松支持多個不同的工作負載。
使用場景
交互式分析:利用Kyuubi可以構建企業級分析平臺,用于對大數據進行交互式可視化分析,支持常見的計算框架。Kyuubi支持JDBC和ODBC接口,您可以直接通過SQL或通過BI工具來訪問Kyuubi并高效地運行查詢。Kyuubi可以在用戶級別緩存后臺引擎實例,以更好的實現計算資源共享和快速響應,并行處理大量數據的查詢并快速返回結果。
批數據處理:Kyuubi提供了SQL接口用于常見的批處理,通常是大型提取、轉換、加載(ETL)過程。Kyuubi及其引擎都是存儲獨立的,支持眾多的數據源,并且Kyuubi支持在連接級別隔離后臺引擎實例,以便實現更好的計算資源隔離并提升穩定性。
Kyuubi和Livy以及Spark ThriftServer對比
對比項 | Kyuubi | Livy | Spark ThriftServer |
支持接口 | SQL、Scala | SQL、Scala、Python and R | SQL |
支持引擎 | Spark、Flink、Trino | Spark | Spark |
Spark版本 | Spark 3.x | Spark 2.x & Spark 3.x | Spark組件自帶 |
協議支持 | Thrift + JDBC | HTTP,Thrift + JDBC | Thrift + JDBC |
客戶端 | Kyuubi Beeline | HTTP Client | Spark Beeline |
高可用 | 支持 | 支持 | 不支持 |
資源隔離 | 支持 | 支持 | 不支持 |
LDAP認證 | 支持 | 支持 | 支持 |
阿里云EMR版本 |
|
| 所有版本 |