Gateway用于部署Livy服務,便于Airflow、Jupyter等工具通過Livy接口向Serverless Spark提交任務。 本文主要為您介紹如何創建Livy Gateway和管理Token。
創建Livy Gateway
進入Gateway頁面。
在左側導航欄,選擇
。在Spark頁面,單擊目標工作空間名稱。
在EMR Serverless Spark頁面,單擊左側導航欄中的
。
在Livy Gateway頁面,單擊創建Livy Gateway。
在創建Livy Gateway頁面,配置以下信息,單擊創建。
參數
說明
名稱
新建Gateway的名稱。僅支持小寫字母、數字、短劃線(-),并且開頭和結尾必須是字母或者數字。
Livy Gateway資源
默認
1 CPU,4 GB
,不支持修改。Livy版本
默認使用最新版0.8.0。
引擎版本
當前Gateway使用的引擎版本。引擎版本號含義等詳情請參見引擎版本介紹。
使用Fusion加速
Fusion可加速Spark負載的運行并降低任務的總成本。有關計費信息,請參見產品計費。有關Fusion引擎介紹,請參見Fusion引擎。
關聯隊列
創建的Gateway將部署在所選隊列。通過Gateway提交Spark任務時,將使用Gateway創建者的身份提交任務。
自動停止
默認關閉。
開啟該功能后,如果在45分鐘內未檢測到任何活動,系統將自動停止該Gateway。
認證方式
僅支持Token方式。
在您創建Gateway之后,需要為其生成一個唯一的鑒權Token,以便在之后的請求中使用該Token進行身份驗證和訪問控制。創建Token的具體操作,請參見管理Token。
管理Token
Token使用時,請在請求的header中添加--header `x-acs-spark-livy-token: token`
。
在Livy Gateway頁面,單擊目標Gateway操作列的Token管理。
單擊創建Token。
在創建Token對話框中,配置以下信息,單擊確定。
參數
說明
名稱
新建Token的名稱。
過期時間
設置該Token的過期時間。設置的天數應大于或等于1。默認情況下為開啟狀態,365天后過期。
復制Token信息。
重要Token創建完成后,請務必立即復制新Token的信息,后續不支持查看。如果您的Token過期或遺失,請選擇新建Token或重置Token。
相關文檔
通過Apache Airflow使用Livy接口向EMR Serverless Spark提交任務示例,請參見通過Apache Airflow使用Livy Operator提交任務。