AnalyticDB for MySQL企業版、基礎版及湖倉版Job型資源組默認使用批處理方式執行Spark SQL,如果您想要使用Job型資源組執行交互式查詢,則需要啟動ThriftServer。啟動ThriftServer后,可以在同一資源組內并發執行多個交互式查詢,提升查詢效率。本文介紹企業版、基礎版及湖倉版Job型資源組如何啟動和停止ThriftServer。
注意事項
每個Job型資源組只能啟動一個ThriftServer。
已啟動ThriftServer的Job型資源組,在執行Spark SQL作業時,都會采用交互式執行。
停止ThriftServer會中斷當前所有執行中的SQL和排隊中的SQL。請確保暫無執行中和排隊中的SQL,或這些SQL中斷對業務無影響后,再停止ThriftServer。
啟動ThriftServer
登錄云原生數據倉庫AnalyticDB MySQL控制臺,在左上角選擇集群所在地域。在左側導航欄,單擊集群列表,在企業版、基礎版或湖倉版頁簽下,單擊目標集群ID。
在左側導航欄,單擊集群管理>資源管理,單擊資源組管理頁簽。
在資源組列表中,單擊目標Job型資源組操作列的ThriftServer配置。
在ThriftServer配置頁面,填寫參數配置。
參數名稱
是否必填
說明
對應的配置參數
Min Executor個數
是
Spark彈性配置下的最小Executor數量,默認值為0,表示不執行Spark SQL時會釋放所有的Executor。
一個Executor的資源量為2 ACU。
spark.dynamicAllocation.minExecutors
Max Executor個數
是
Spark彈性配置下最大的Executor數量,表示執行Spark SQL時最大拉起的Executor數量,至少配置為1。
一個Executor的資源量為2 ACU,如果配置過大,超過該Job型資源組計算最大資源限制時,可能引起錯誤。例如某Job型資源組的最大計算資源為16 ACU,可配置的最大Executor數量為8。
spark.dynamicAllocation.maxExecutors
JARS
否
執行環境需要第三方JAR包的OSS路徑。
如果執行SQL時,需要依賴JAR包,請先將JAR包上傳至OSS的存儲空間。如何上傳文件,請參見控制臺上傳文件。
spark.jars
最大連接數
否
Spark維護的最大的Session數量,每個Session對應一個獨立線程,配置過大可能引起OOM錯誤。
spark.sql.retainedSessions
其他配置
否
無
單擊啟動。
停止ThriftServer
當需要在啟動了ThriftServer的Job型資源組中使用批處理方式執行Spark SQL作業時,需要先停止ThriftServer。
登錄云原生數據倉庫AnalyticDB MySQL控制臺,在左上角選擇集群所在地域。在左側導航欄,單擊集群列表,在企業版、基礎版或湖倉版頁簽下,單擊目標集群ID。
在左側導航欄,單擊集群管理>資源管理,單擊資源組管理頁簽。
在資源組列表中,單擊目標Job型資源組操作列的ThriftServer配置。
在ThriftServer配置頁面,單擊停止。