日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

管理Notebook會(huì)話

會(huì)話是指EMR Serverless Spark工作空間中可用的Spark Session。您需要使用Notebook會(huì)話來進(jìn)行Notebook開發(fā)。 本文主要為您介紹如何創(chuàng)建Notebook會(huì)話

創(chuàng)建Notebook會(huì)話

Notebook會(huì)話創(chuàng)建完成后,您可以在進(jìn)行Notebook開發(fā)時(shí)選擇此會(huì)話。

  1. 進(jìn)入Notebook會(huì)話頁面。

    1. 登錄E-MapReduce控制臺(tái)

    2. 在左側(cè)導(dǎo)航欄,選擇EMR Serverless > Spark

    3. Spark頁面,單擊目標(biāo)工作空間名稱。

    4. EMR Serverless Spark頁面,選擇左側(cè)導(dǎo)航欄中的會(huì)話管理

    5. 單擊Notebook會(huì)話頁簽。

  2. Notebook會(huì)話頁面,單擊創(chuàng)建Notebook會(huì)話

  3. 在創(chuàng)建Notebook會(huì)話頁面,配置以下信息,單擊創(chuàng)建

    重要

    建議將所選部署隊(duì)列的并發(fā)上限至少設(shè)置為Notebook會(huì)話所需的資源大小,具體數(shù)值請(qǐng)以控制臺(tái)展示為準(zhǔn)。

    參數(shù)

    說明

    名稱

    新建Notebook會(huì)話的名稱。

    長(zhǎng)度限制為1~64個(gè)字符,僅支持字母、數(shù)字、短劃線(-)、下劃線(_)和空格。

    部署隊(duì)列

    請(qǐng)選擇合適的開發(fā)隊(duì)列部署會(huì)話。僅支持選擇開發(fā)或者開發(fā)和生產(chǎn)公用的隊(duì)列。

    隊(duì)列更多信息,請(qǐng)參見管理資源隊(duì)列

    引擎版本

    當(dāng)前會(huì)話使用的引擎版本。引擎版本號(hào)含義等詳情請(qǐng)參見引擎版本介紹

    使用Fusion加速

    Fusion可加速Spark負(fù)載的運(yùn)行并降低任務(wù)的總成本。有關(guān)計(jì)費(fèi)信息,請(qǐng)參見產(chǎn)品計(jì)費(fèi)。有關(guān)Fusion引擎介紹,請(qǐng)參見Fusion引擎

    運(yùn)行環(huán)境

    可以選擇在運(yùn)行環(huán)境管理頁面創(chuàng)建的自定義環(huán)境,Notebook會(huì)話啟動(dòng)時(shí)將根據(jù)所選環(huán)境預(yù)裝相關(guān)庫。

    說明

    僅支持選擇已就緒的運(yùn)行環(huán)境。

    自動(dòng)停止

    默認(rèn)開啟。支持您自定義設(shè)置Notebook會(huì)話在不活動(dòng)后的自動(dòng)停止時(shí)間。

    spark.driver.cores

    用于指定Spark應(yīng)用程序中Driver進(jìn)程所使用的CPU核心數(shù)量。默認(rèn)值為1 CPU。

    spark.driver.memory

    用于指定Spark應(yīng)用程序中Driver進(jìn)程可以使用的內(nèi)存量。默認(rèn)值為3.5 GB。

    spark.executor.cores

    用于指定每個(gè)Executor進(jìn)程可以使用的CPU核心數(shù)量。默認(rèn)值為1 CPU。

    spark.executor.memory

    用于指定每個(gè)Executor進(jìn)程可以使用的內(nèi)存量。默認(rèn)值為3.5 GB。

    spark.executor.instances

    Spark分配的執(zhí)行器(Executor)數(shù)量。默認(rèn)值為2。

    動(dòng)態(tài)資源分配

    默認(rèn)關(guān)閉。開啟后,需要配置以下參數(shù):

    • executors數(shù)量下限:默認(rèn)為2。

    • executors數(shù)量上限:如果未設(shè)置spark.executor.instances,則默認(rèn)值為10。

    更多內(nèi)存配置

    • spark.driver.memoryOverhead:每個(gè)Driver可利用的非堆內(nèi)存。如果未設(shè)置該參數(shù),Spark會(huì)根據(jù)默認(rèn)值自動(dòng)分配,默認(rèn)值為 max(384MB, 10% × spark.driver.memory)

    • spark.executor.memoryOverhead:每個(gè)Executor可利用的非堆內(nèi)存。如果未設(shè)置該參數(shù),Spark會(huì)根據(jù)默認(rèn)值自動(dòng)分配,默認(rèn)值為 max(384MB, 10% × spark.executor.memory)

    • spark.memory.offHeap.size:Spark可用的堆外內(nèi)存大小。默認(rèn)值為1 GB。

      僅在spark.memory.offHeap.enabled設(shè)置為true時(shí)生效。默認(rèn)情況下,當(dāng)采用Fusion Engine時(shí),該功能將處于啟用狀態(tài),其非堆內(nèi)存默認(rèn)設(shè)置為1 GB。

    Spark配置

    填寫Spark配置信息,默認(rèn)以空格符分隔,例如,spark.sql.catalog.paimon.metastore dlf

  4. 單擊新建Notebook會(huì)話操作列的啟動(dòng)

相關(guān)文檔