EMR集群接入OSS-HDFS服務(wù)快速入門
阿里云開(kāi)源大數(shù)據(jù)開(kāi)發(fā)平臺(tái)E-MapReduce（簡(jiǎn)稱EMR）特定版本（EMR-3.46.2及以上版本或EMR-5.12.2及以上版本）集群默認(rèn)集成OSS-HDFS服務(wù)。本文介紹如何通過(guò)EMR集群接入OSS-HDFS服務(wù)并完成常見(jiàn)操作。
如果您使用的是自建Hadoop集群，請(qǐng)通過(guò)非EMR集群的方式接入OSS-HDFS服務(wù)。具體操作，請(qǐng)參見(jiàn)非EMR集群接入OSS-HDFS服務(wù)快速入門。
前提條件
已為Bucket開(kāi)通并授權(quán)訪問(wèn)OSS-HDFS服務(wù)。具體操作，請(qǐng)參見(jiàn)開(kāi)通OSS-HDFS服務(wù)。
阿里云賬號(hào)默認(rèn)擁有通過(guò)EMR集群的方式接入OSS-HDFS服務(wù)并執(zhí)行常見(jiàn)操作的權(quán)限。如果您希望通過(guò)RAM用戶接入OSS-HDFS服務(wù)，RAM用戶需要具備對(duì)應(yīng)的權(quán)限要求，詳情請(qǐng)參見(jiàn)授權(quán)RAM用戶通過(guò)EMR集群接入OSS-HDFS服務(wù)。
操作視頻
觀看以下視頻了解如何通過(guò)EMR集群快速接入OSS-HDFS服務(wù)并完成常見(jiàn)操作。
操作步驟
登錄EMR on ECS控制臺(tái)，創(chuàng)建EMR集群。
創(chuàng)建EMR集群時(shí)，確保選擇的產(chǎn)品版本為EMR-3.46.2及以上版本或者EMR-5.12.2及以上版本，集群存儲(chǔ)根路徑選擇已開(kāi)通OSS-HDFS服務(wù)的Bucket，其他參數(shù)保留默認(rèn)配置。具體步驟，請(qǐng)參見(jiàn)創(chuàng)建集群。
登錄EMR集群。
單擊創(chuàng)建的EMR集群。
單擊節(jié)點(diǎn)管理頁(yè)簽，然后單擊節(jié)點(diǎn)組左側(cè)的
。單擊ECS ID。在ECS實(shí)例頁(yè)面，單擊實(shí)例ID右側(cè)的遠(yuǎn)程連接，選擇默認(rèn)方式（通過(guò)Workbench遠(yuǎn)程連接）登錄實(shí)例。
如果您希望使用SSH方式（SSH密鑰對(duì)或SSH密碼）在Windows和Linux環(huán)境中登錄集群，請(qǐng)參見(jiàn)登錄集群。
通過(guò)HDFS Shell命令完成OSS-HDFS服務(wù)常見(jiàn)操作。
上傳文件
將本地根目錄下的examplefile.txt文件上傳至examplebucket，示例如下：
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/下載文件
將examplebucket下的exampleobject.txt下載到本地根目錄文件夾/tmp，示例如下：
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/
更多操作，請(qǐng)參見(jiàn)通過(guò)Hadoop Shell命令訪問(wèn)