日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺(tái)
文檔
有獎(jiǎng)?wù){(diào)研
輸入文檔關(guān)鍵字查找
首頁(yè) 開(kāi)源大數(shù)據(jù)平臺(tái) E-MapReduce EMR Serverless Spark 操作指南 運(yùn)維管理 管理默認(rèn)配置

管理默認(rèn)配置

更新時(shí)間：
產(chǎn)品詳情
相關(guān)技術(shù)圈
我的收藏

阿里云E-MapReduce (簡(jiǎn)稱(chēng)EMR) Serverless Spark提供了全局的Spark默認(rèn)配置，以支持多樣化的任務(wù)執(zhí)行和管理需求。該配置包含了運(yùn)行特定任務(wù)所需的全部配置信息，確保在任務(wù)提交時(shí)保持一致的配置和運(yùn)行環(huán)境。

前提條件

已創(chuàng)建工作空間，詳情請(qǐng)參見(jiàn)管理工作空間。

配置參數(shù)

您可以在EMR Serverless Spark的配置管理頁(yè)面查看或修改參數(shù)。

參數(shù)

說(shuō)明

引擎版本

當(dāng)前Compute使用的引擎版本。引擎版本號(hào)含義等詳情請(qǐng)參見(jiàn)引擎版本介紹。

spark.driver.cores

用于指定Spark應(yīng)用程序中Driver進(jìn)程所使用的CPU核心數(shù)量。

spark.driver.memory

用于指定Spark應(yīng)用程序中Driver進(jìn)程可以使用的內(nèi)存量。

spark.executor.cores

用于指定每個(gè)Executor進(jìn)程可以使用的CPU核心數(shù)量。

spark.executor.memory

用于指定每個(gè)Executor進(jìn)程可以使用的內(nèi)存量。

spark.executor.instances

Spark分配的執(zhí)行器（Executor）數(shù)量。

動(dòng)態(tài)資源分配

默認(rèn)關(guān)閉。開(kāi)啟后，需要配置以下參數(shù)：

  • executors數(shù)量下限：默認(rèn)為2。

  • executors數(shù)量上限：如果未設(shè)置spark.executor.instances，則默認(rèn)值為10。

更多內(nèi)存配置

  • spark.driver.memoryOverhead：每個(gè)Driver可利用的非堆內(nèi)存。如果未設(shè)置該參數(shù)，Spark會(huì)根據(jù)默認(rèn)值自動(dòng)分配，默認(rèn)值為 max（384MB, 10% × spark.driver.memory）。

  • spark.executor.memoryOverhead：每個(gè)Executor可利用的非堆內(nèi)存。如果未設(shè)置該參數(shù)，Spark會(huì)根據(jù)默認(rèn)值自動(dòng)分配，默認(rèn)值為 max（384MB, 10% × spark.executor.memory）。

  • spark.memory.offHeap.size：Spark可用的堆外內(nèi)存大小。默認(rèn)值為1 GB。

    僅在spark.memory.offHeap.enabled設(shè)置為true時(shí)生效。默認(rèn)情況下，當(dāng)采用Fusion Engine時(shí)，該功能將處于啟用狀態(tài)，其非堆內(nèi)存默認(rèn)設(shè)置為1 GB。

Spark配置

填寫(xiě)Spark配置信息，默認(rèn)以空格符分隔，例如，spark.sql.catalog.paimon.metastore dlf。