本文為您介紹如何快速訪(fǎng)問(wèn)OSS/OSS-HDFS。
前提條件
- 開(kāi)通OSS服務(wù)。
- 創(chuàng)建存儲(chǔ)空間。
- 確認(rèn)OSS授權(quán)。
- EMR集群(新版控制臺(tái))中使用,已默認(rèn)開(kāi)通。如遇問(wèn)題,請(qǐng)參見(jiàn)角色授權(quán)。
- EMR集群(舊版控制臺(tái))中使用,已默認(rèn)開(kāi)通。如遇問(wèn)題,請(qǐng)參見(jiàn)角色授權(quán)。
- 在非EMR環(huán)境的授權(quán)方式,請(qǐng)參見(jiàn)OSS/OSS-HDFS授權(quán)。
- (可選,推薦開(kāi)通)開(kāi)通并授權(quán)訪(fǎng)問(wèn)OSS-HDFS服務(wù)。
- 確認(rèn)JindoSDK部署版本。
- 在EMR集群中,已默認(rèn)部署JindoSDK。
說(shuō)明 訪(fǎng)問(wèn)OSS-HDFS,需創(chuàng)建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。
- 在非EMR集群中,請(qǐng)參見(jiàn)在非EMR集群中部署JindoSDK。
說(shuō)明 訪(fǎng)問(wèn)OSS-HDFS,需部署JindoSDK 4.x及以上版本。
- 在EMR集群中,已默認(rèn)部署JindoSDK。
路徑說(shuō)明
訪(fǎng)問(wèn)OSS和訪(fǎng)問(wèn)OSS-HDFS,僅路徑中的endpoint不同,其他使用方式均相同。兩種方式的路徑示例和描述如下:
存儲(chǔ)系統(tǒng) | 根路徑示例 | 描述 |
---|---|---|
OSS | oss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ | 在上海區(qū)域已創(chuàng)建了名為examplebucket的OSS Bucket,并使用內(nèi)網(wǎng)Endpoint訪(fǎng)問(wèn)。
說(shuō)明 在EMR集群中未掛載公網(wǎng)的節(jié)點(diǎn),默認(rèn)不支持訪(fǎng)問(wèn)OSS公網(wǎng)Endpoint,即默認(rèn)不支持跨區(qū)域訪(fǎng)問(wèn)。
|
OSS-HDFS | oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | 在上海區(qū)域已創(chuàng)建了名為examplebucket的OSS-HDFS Bucket。
說(shuō)明 OSS-HDFS目前僅支持內(nèi)網(wǎng)訪(fǎng)問(wèn),即默認(rèn)不支持跨區(qū)域訪(fǎng)問(wèn)。
|
訪(fǎng)問(wèn)方式
支持通過(guò)Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制臺(tái)四種方式訪(fǎng)問(wèn)OSS/OSS-HDFS。各訪(fǎng)問(wèn)方式的示例和描述如下:
訪(fǎng)問(wèn)方式 | 示例 | 描述 |
---|---|---|
Hadoop Shell命令 | hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | JindoSDK中的JindoOssFileSystem是Hadoop FileSystem的一種實(shí)現(xiàn)。執(zhí)行Hadoop Shell命令時(shí)通過(guò)識(shí)別路徑中的endpoint來(lái)訪(fǎng)問(wèn)OSS/OSS-HDFS。更多使用方式,請(qǐng)參見(jiàn)通過(guò)Hadoop Shell命令訪(fǎng)問(wèn)OSS/OSS-HDFS。 |
Jindo CLI命令 | jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Jindo CLI命令訪(fǎng)問(wèn)OSS/OSS-HDFS的方式與Hadoop Shell方式類(lèi)似。此外,還支持了更多的功能,比如歸檔、緩存、錯(cuò)誤分析等,具體信息請(qǐng)參見(jiàn)通過(guò)Jindo CLI命令訪(fǎng)問(wèn)OSS/OSS-HDFS。 |
POSIX命令 | mkdir -p /mnt/oss jindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ ls /mnt/oss | 通過(guò)實(shí)現(xiàn)FUSE API,JindoFuse可以通過(guò)掛載OSS/OSS-HDFS路徑到本地路徑的方式,使您可以像訪(fǎng)問(wèn)本地文件一樣訪(fǎng)問(wèn)OSS/OSS-HDFS。 具體信息請(qǐng)參見(jiàn)通過(guò)POSIX命令訪(fǎng)問(wèn)OSS/OSS-HDFS。 |
OSS控制臺(tái) | 您需要登錄OSS控制臺(tái)進(jìn)行操作,具體操作步驟為:
|