日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

管理SQL會話

會話是指EMR Serverless Spark工作空間中可用的Spark Session。您需要訪問SQL會話來運行SQL查詢和進行數據科學分析。 本文主要為您介紹如何創建SQL會話

創建SQL會話

SQL會話創建完成后,您可以在創建SQL類型任務時選擇此會話。

  1. 進入會話管理頁面。

    1. 登錄E-MapReduce控制臺

    2. 在左側導航欄,選擇EMR Serverless > Spark

    3. Spark頁面,單擊目標工作空間名稱。

    4. EMR Serverless Spark頁面,單擊左側導航欄中的會話管理

  2. SQL會話頁面,單擊創建SQL會話

  3. 在創建SQL會話頁面,配置以下信息,單擊創建

    重要

    建議將所選部署隊列的并發上限至少設置為Notebook會話所需的資源大小,具體數值請以控制臺展示為準。

    參數

    說明

    名稱

    新建SQL會話的名稱。

    長度限制為1~64個字符,僅支持字母、數字、短劃線(-)、下劃線(_)和空格。

    部署隊列

    請選擇合適的開發隊列部署此SQL會話。僅支持選擇開發或者開發和生產公用的隊列。

    隊列更多信息,請參見管理資源隊列

    引擎版本

    當前SQL會話使用的引擎版本。引擎版本號含義等詳情請參見引擎版本介紹

    使用Fusion加速

    Fusion可加速Spark負載的運行并降低任務的總成本。有關計費信息,請參見產品計費。有關Fusion引擎介紹,請參見Fusion引擎

    自動停止

    默認開啟。支持您自定義設置SQL會話在不活動后的自動停止時間。

    spark.driver.cores

    用于指定Spark應用程序中Driver進程所使用的CPU核心數量。默認值為1 CPU。

    spark.driver.memory

    用于指定Spark應用程序中Driver進程可以使用的內存量。默認值為3.5 GB。

    spark.executor.cores

    用于指定每個Executor進程可以使用的CPU核心數量。默認值為1 CPU。

    spark.executor.memory

    用于指定每個Executor進程可以使用的內存量。默認值為3.5 GB。

    spark.executor.instances

    Spark分配的執行器(Executor)數量。默認值為2。

    動態資源分配

    默認關閉。開啟后,需要配置以下參數:

    • executors數量下限:默認為2。

    • executors數量上限:如果未設置spark.executor.instances,則默認值為10。

    更多內存配置

    • spark.driver.memoryOverhead:每個Driver可利用的非堆內存。如果未設置該參數,Spark會根據默認值自動分配,默認值為 max(384MB, 10% × spark.driver.memory)

    • spark.executor.memoryOverhead:每個Executor可利用的非堆內存。如果未設置該參數,Spark會根據默認值自動分配,默認值為 max(384MB, 10% × spark.executor.memory)

    • spark.memory.offHeap.size:Spark可用的堆外內存大小。默認值為1 GB。

      僅在spark.memory.offHeap.enabled設置為true時生效。默認情況下,當采用Fusion Engine時,該功能將處于啟用狀態,其非堆內存默認設置為1 GB。

    Spark配置

    填寫Spark配置信息,默認以空格符分隔,例如,spark.sql.catalog.paimon.metastore dlf

  4. 單擊新建SQL會話操作列的啟動

相關文檔