登錄集群
通過與集群主節(jié)點建立SSH連接,您可以使用終端上的Linux命令來管理和與集群進行交互操作。此外,您還可以使用SSH連接創(chuàng)建隧道,以便通過Web瀏覽器查看開源組件的Web頁面。本文為您介紹如何在Windows和Linux環(huán)境中使用SSH方式(SSH密鑰對或SSH密碼方式)登錄集群。
前提條件
已在EMR on ECS創(chuàng)建集群,詳情請參見創(chuàng)建集群。
確保本地服務(wù)器與集群主節(jié)點網(wǎng)絡(luò)連通。您可以在創(chuàng)建集群時打開掛載公網(wǎng)開關(guān),或者在集群創(chuàng)建好之后在ECS控制臺上為主節(jié)點掛載公網(wǎng),為主節(jié)點ECS實例分配固定公網(wǎng)IP或EIP,詳情請參見綁定輔助彈性網(wǎng)卡。
集群安全組已開放22端口。
登錄集群主節(jié)點
SSH密鑰方式
如需獲取主節(jié)點的公網(wǎng)IP地址,請參見如何獲取主節(jié)點公網(wǎng)IP地址和節(jié)點名稱?。
您可以通過以下三種方式登錄集群,詳細信息如下:
本地使用Linux操作系統(tǒng)
下面步驟以私鑰文件ecs.pem為例進行介紹:
執(zhí)行以下命令,修改私鑰文件的屬性。
chmod 400 ~/.ssh/ecs.pem
~/.ssh/ecs.pem
為ecs.pem私鑰文件在本地服務(wù)器上的存儲路徑。執(zhí)行以下命令,連接主節(jié)點。
ssh -i ~/.ssh/ecs.pem emr-user@<主節(jié)點公網(wǎng)IP地址>
本地使用Windows操作系統(tǒng)(通過PuTTY配置信息)
您可以按照以下方式登錄主節(jié)點。
將.pem私鑰文件轉(zhuǎn)換為.ppk私鑰文件。
運行PuTTYgen。本示例中PuTTYgen版本為0.73。
在Actions區(qū)域,單擊Load,導(dǎo)入創(chuàng)建集群時保存的私鑰文件。
導(dǎo)入時注意確保導(dǎo)入的格式要求為All files (*.*)。
選擇待轉(zhuǎn)換的.pem私鑰文件,單擊打開。
單擊Save private key。
在彈出的對話框中,單擊是,指定.ppk私鑰文件的名稱,然后單擊保存。
保存轉(zhuǎn)化后的私鑰到本地。例如:kp-123.ppk。
運行PuTTY。
選擇
,在最下面一個配置項Private key file for authentication中,單擊Browse,選擇轉(zhuǎn)化后的密鑰文件。單擊Session,在Host Name (or IP address)下的輸入框中,輸入登錄賬號和主節(jié)點公網(wǎng)IP地址。
格式為emr-user@[主節(jié)點公網(wǎng)IP地址],例如emr-user@10.10.**.**。
單擊Open。
本地使用Windows操作系統(tǒng)(通過命令配置信息)
打開CMD,輸入以下命令登錄集群。
ssh -i <.pem私鑰文件在本地機上的存儲路徑> emr-user@<主節(jié)點公網(wǎng)IP地址>
SSH密碼方式
以下步驟中涉及的用戶名,密碼分別是root用戶和創(chuàng)建集群時設(shè)置的密碼。主節(jié)點公網(wǎng)IP地址請參見如何獲取主節(jié)點公網(wǎng)IP地址和節(jié)點名稱?。
針對不同操作系統(tǒng),詳細的操作步驟如下:
本地使用Linux操作系統(tǒng)
您可以在本地終端的命令行中運行如下命令連接主節(jié)點。
ssh root@[主節(jié)點公網(wǎng)IP地址]
本地使用Windows操作系統(tǒng)
下載并安裝PuTTY。
下載鏈接:PuTTY。
啟動PuTTY。
配置連接Linux實例所需的信息。
Host Name (or IP address):輸入實例的固定公網(wǎng)IP或EIP。
Port:輸入22。
Connection Type:選擇SSH。
(可選)Saved Sessions:輸入一個便于識別的名稱,然后單擊Save即可保存會話,下次登錄時無需輸入公網(wǎng)IP等信息。
單擊Open。
輸入用戶名(默認為root),然后按回車鍵。
輸入完成后按回車鍵即可,登錄Linux實例時界面不會顯示密碼的輸入過程。
登錄集群其他節(jié)點
方法一:免密登錄
您可以通過以下步驟登錄Core節(jié)點或Task節(jié)點。
數(shù)據(jù)湖(DataLake)、實時數(shù)據(jù)流(DataFlow)、數(shù)據(jù)分析(OLAP)、數(shù)據(jù)服務(wù)(DataServing)和自定義場景的集群
登錄集群主節(jié)點,詳情請參見登錄集群主節(jié)點。
在Master節(jié)點上切換到emr-user賬號。
su emr-user
免密碼登錄到對應(yīng)的Core節(jié)點或Task節(jié)點。
ssh core-1-1
其余集群
登錄集群主節(jié)點,詳情請參見登錄集群主節(jié)點。
在Master節(jié)點上切換到hadoop賬號。
su hadoop
免密碼登錄到對應(yīng)的Core節(jié)點或Task節(jié)點。
ssh emr-worker-1
方法二:直接連接ECS實例
常見問題
如何獲取主節(jié)點公網(wǎng)IP地址和節(jié)點名稱?
如何在本地以免密方式登錄集群?
您可以通過以下步驟在本地以免密方式登錄集群。
打開CMD,輸入以下命令生成公鑰。
ssh-keygen
本地服務(wù)器目錄下會生成相應(yīng)的公鑰文件。
將生成的公鑰加入至待訪問集群的主節(jié)點上。
進入待訪問集群的/.ssh目錄。
cd ~/.ssh
配置主節(jié)點的密鑰。
vim authorized_keys
添加本地公鑰中id_rsa的內(nèi)容至authorized_keys中。
加入本地機器的IP地址至安全組。
獲取機器的公網(wǎng)訪問IP地址。
為了安全地訪問集群組件,在設(shè)置安全組策略時,推薦您只針對當前的公網(wǎng)訪問IP地址開放。獲取您當前公網(wǎng)訪問IP地址的方法是,訪問IP地址,即可查看您當前的公網(wǎng)訪問IP地址。
添加安全組規(guī)則,以開啟22端口。
添加安全組規(guī)則,詳情請參見添加安全組規(guī)則。
在CMD中,輸入以下命令免密登錄集群。
ssh root@<主節(jié)點公網(wǎng)IP地址>
創(chuàng)建集群時的密碼可以用來登錄集群的節(jié)點嗎?
E-MapReduce集群創(chuàng)建后,Master節(jié)點可以使用創(chuàng)建集群時設(shè)置的密碼登錄,其余節(jié)點的登錄方式,請查看登錄集群其他節(jié)點。
如何重置密碼?
重置密碼需要前往ECS控制臺操作。具體操作如下:
在E-Mapreduce控制臺的節(jié)點管理頁面,找到待修改的節(jié)點。
單擊實例ID,跳轉(zhuǎn)至ECS控制臺。
在實例頁面,單擊重置實例密碼。
更多信息,請參見重置實例登錄密碼。
相關(guān)文檔
您可以在SSH連接中創(chuàng)建隧道以查看開源組件的Web頁面,詳情請參見通過SSH隧道方式訪問開源組件Web UI。