本文為您介紹創建StarRocks集群的詳細操作步驟和相關配置。
前提條件
操作步驟
進入創建集群頁面。
可選:在頂部菜單欄處,根據實際情況選擇地域和資源組。
地域:創建的集群將會在對應的地域內,一旦創建不能修改。
資源組:默認顯示賬號全部資源。
單擊上方的創建集群,進行創建。
配置集群信息。
創建集群時,您需要對集群進行軟件配置、硬件配置和基礎配置。
重要集群創建完成后,除了集群名稱以外,其他配置均無法修改,所以在創建時請仔細確認各項配置。
軟件配置。
配置項
示例
描述
地域
華東1(杭州)
創建的集群將會在對應的地域內,一旦創建不能修改。
業務場景
數據分析場景
選擇數據分析。
產品版本
EMR-5.17.0
默認最新的軟件版本。
服務高可用
關閉
默認關閉。開啟后集群會有三個Master節點來支持ResourceManager和NameNode的高可用。 您也可以修改節點數量。
可選服務
Starrocks2
根據您的實際需求選擇其他的一些組件,被選中的組件會默認啟動相關的服務進程。
允許采集服務運行日志
開啟
支持一鍵開啟或關閉所有服務的日志采集。默認開啟,將收集您的服務運行日志,這些日志僅供集群診斷使用。
集群創建后,您可以在基礎信息頁面,修改服務運行日志收集狀態。
重要關閉日志采集后,EMR的健康檢查和技術支持將受到限制,但其他功能仍可正常使用。如何關閉及影響詳情,請參見如何停止采集服務日志?。
DLF統一元數據
勾選
默認勾選,表示元數據存儲在數據湖構建DLF中。
重要選擇該方式時,需要開通數據湖構建DLF產品,您可以單擊下方的開通,前往DLF控制臺操作。
開通DLF后,系統會為您選擇默認的DLF數據目錄,默認為UID。如果針對不同集群您期望使用不同的數據目錄,則可以按照以下方式新建目錄。
單擊創建數據目錄,在彈出的對話框中輸入目錄ID,單擊確定。詳情請參見數據目錄。
在DLF數據目錄下拉列表中,選擇您新建的數據目錄。
高級設置
不開啟
軟件自定義配置:可指定JSON文件對集群中的基礎軟件(例如Hadoop、Spark和Hive等)進行配置。默認不開啟。
硬件配置。
配置項
示例
描述
付費類型
按量付費
默認包年包月。當前支持的付費類型如下:
按量付費:一種后付費模式,即先使用再付費。按量付費是根據實際使用的小時數來支付費用,每小時計費一次,適合短期的測試任務或是靈活的動態任務。
包年包月:一種預付費模式,即先付費再使用。
說明建議測試場景下使用按量付費,測試正常后再新建一個包年包月的生產集群正式使用。
可用區
華東1(杭州) 可用區 I
可用區為在同一地域下的不同物理區域,可用區之間內網互通。通常使用默認的可用區即可。
專有網絡
starrocks_test/vpc-bp1f4epmkvncimpgs****
默認選擇已有的專有網絡。
如需創建新的專有網絡,請在專有網絡控制臺新創建一個,詳情請參見創建和管理專有網絡。
交換機
vsw_test/vsw-bp1e2f5fhaplp0g6p****
選擇在對應VPC下可用區的交換機,如果在這個可用區沒有可用的交換機,則需要在專有網絡控制臺新創建一個,詳情請參見創建和管理交換機。
默認安全組
sg-bp1ddw7sm2risw****/sg-bp1ddw7sm2risw****
默認選擇已有的安全組。安全組詳情請參見安全組概述。
您也可以單擊新建安全組,在ECS控制臺新建一個安全組,詳情請參見創建安全組。
重要禁止使用ECS上創建的企業安全組。
節點組
使用默認值
您可以根據需要選擇實例規格,詳情請參見實例規格族。
Master:主要負責ResourceManager和NameNode等控制進程的部署。
Core:主要負責集群所有數據的存儲,創建集群完成后也支持按需進行擴容。
Task:不保存數據,調整集群的計算力使用。默認不開啟,需要時可自定義配置。
加入部署集:開啟高可用后,Master默認加入部署集。部署集是控制實例分布的策略,詳情請參見部署集概述。
系統盤:根據需要選擇SSD云盤、ESSD云盤或者高效云盤。系統盤大小請根據需要調整。
數據盤:根據需要選擇SSD云盤、ESSD云盤或者高效云盤。數據盤大小請根據需要調整。
說明當您選擇ESSD云盤時,可以根據所選云盤的容量大小來設置不同的性能級別(PL級別),以滿足不同的集群性能需求。默認的性能級別為PL1。根據云盤的容量范圍,系統盤支持PL0、PL1和PL2三個性能級別的云盤規格,數據盤支持PL0、PL1、PL2和PL3四個性能級別的云盤規格。云盤的詳細信息,請參見云盤概述。
實例數量:Master節點組默認1臺。如果開啟高可用,可以有多臺Master實例。
Core節點組默認2臺,您可以根據需要調整。
附加安全組:附加安全組可以靈活定制不同的外部資源或應用程序之間的訪問。您最多可以為該節點組關聯2個附加安全組。
掛載公網:集群是否掛載彈性公網IP地址,默認不開啟。僅DataLake集群支持節點組級別掛載公網。
說明如果您未開啟該功能,創建后您想使用公網IP地址訪問,請在ECS上申請開通公網IP地址,詳情請參見彈性公網IP中的申請EIP的內容。
基礎配置。
在基礎信息區域,配置如下參數。
配置項
示例
描述
集群名稱
Emr-StarRocks
集群的名字,長度限制為1~64個字符,僅可使用中文、字母、數字、短劃線(-)和下劃線(_)。
身份憑證
自定義密碼
密鑰對(默認):使用SSH密鑰對登錄Linux實例。
關于密鑰對的使用詳情,請參見SSH密鑰對。
密碼:設置Master節點的登錄密碼,使用密碼對登錄Linux實例。
密碼規則:8~30個字符,且必須同時包含大寫字母、小寫字母、數字和特殊字符。
特殊字符包括:感嘆號(!)、at(@)、井號(#)、美元符號($)、百分號(%)、乘方(^)、and(&)和星號(*)。
配置項
說明
ECS應用角色
當用戶的程序在EMR計算節點上運行時,可不填寫阿里云AccessKey來訪問相關的云服務(例如OSS),EMR會自動申請一個臨時AccessKey來授權本次訪問。ECS應用角色用于控制該AccessKey的權限。
引導操作
在集群啟動前執行的腳本,可以安裝第三方軟件或者修改集群運行環境,詳情請參見管理引導操作。
標簽
您可以在創建集群時綁定標簽,也可以在集群創建完成后。添加標簽,可以方便您識別和管理擁有的集群資源,詳情請參見設置標簽。
資源組
資源組會對您擁有的云資源從用途、權限和歸屬等維度上進行分組,詳情請參見使用資源組。
數據盤加密
僅支持在創建集群時開啟該功能。打開該功能,數據盤上的動態數據傳輸以及靜態數據都會被加密,詳情請參見開啟數據盤加密。
在確認訂單頁面,選中E-MapReduce服務條款復選框。
(可選)保存為集群模板:如果身份認證選擇的密鑰對,則可以單擊保存為集群模板,保存當前集群的配置信息為集群模板。
單擊確認訂單。
創建集群后可以通過刷新頁面來查看進度,當集群狀態顯示為運行中時,表示集群創建成功。
常見問題
Q:Master、Core與StarRocks中的FE和BE是什么關系?
A:StarRocks的FE部署在Master節點,目前默認為一個節點。選擇高可用模式時,默認為3個節點,每個Master節點都會部署一個FE進程。打開服務高可用開關即為高可用集群,可以提供容錯和負載均衡的能力。
StarRocks的BE部署在Core節點,每個Core機器會部署一個StarRocks的BE進程,您可以根據實際業務場景選擇部署的節點數量。