管理默認(rèn)配置
阿里云E-MapReduce (簡(jiǎn)稱(chēng)EMR) Serverless Spark提供了全局的Spark默認(rèn)配置,以支持多樣化的任務(wù)執(zhí)行和管理需求。該配置包含了運(yùn)行特定任務(wù)所需的全部配置信息,確保在任務(wù)提交時(shí)保持一致的配置和運(yùn)行環(huán)境。
前提條件
已創(chuàng)建工作空間,詳情請(qǐng)參見(jiàn)管理工作空間。
配置參數(shù)
您可以在EMR Serverless Spark的配置管理頁(yè)面查看或修改參數(shù)。
參數(shù) | 說(shuō)明 |
引擎版本 | 當(dāng)前Compute使用的引擎版本。引擎版本號(hào)含義等詳情請(qǐng)參見(jiàn)引擎版本介紹。 |
spark.driver.cores | 用于指定Spark應(yīng)用程序中Driver進(jìn)程所使用的CPU核心數(shù)量。 |
spark.driver.memory | 用于指定Spark應(yīng)用程序中Driver進(jìn)程可以使用的內(nèi)存量。 |
spark.executor.cores | 用于指定每個(gè)Executor進(jìn)程可以使用的CPU核心數(shù)量。 |
spark.executor.memory | 用于指定每個(gè)Executor進(jìn)程可以使用的內(nèi)存量。 |
spark.executor.instances | Spark分配的執(zhí)行器(Executor)數(shù)量。 |
動(dòng)態(tài)資源分配 | 默認(rèn)關(guān)閉。開(kāi)啟后,需要配置以下參數(shù):
|
更多內(nèi)存配置 |
|
Spark配置 | 填寫(xiě)Spark配置信息,默認(rèn)以空格符分隔,例如, |