本文為您介紹如何快速訪(fǎng)問(wèn)OSS/OSS-HDFS。
前提條件
- 開(kāi)通OSS服務(wù)。
- 創(chuàng)建存儲(chǔ)空間。
- 確認(rèn)OSS授權(quán)。
- EMR集群（新版控制臺(tái)）中使用，已默認(rèn)開(kāi)通。如遇問(wèn)題，請(qǐng)參見(jiàn)角色授權(quán)。
- EMR集群（舊版控制臺(tái)）中使用，已默認(rèn)開(kāi)通。如遇問(wèn)題，請(qǐng)參見(jiàn)角色授權(quán)。
- 在非EMR環(huán)境的授權(quán)方式，請(qǐng)參見(jiàn)OSS/OSS-HDFS授權(quán)。
- （可選，推薦開(kāi)通）開(kāi)通并授權(quán)訪(fǎng)問(wèn)OSS-HDFS服務(wù)。
- 確認(rèn)JindoSDK部署版本。
- 在EMR集群中，已默認(rèn)部署JindoSDK。
說(shuō)明 訪(fǎng)問(wèn)OSS-HDFS，需創(chuàng)建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。
- 在非EMR集群中，請(qǐng)參見(jiàn)在非EMR集群中部署JindoSDK。
說(shuō)明 訪(fǎng)問(wèn)OSS-HDFS，需部署JindoSDK 4.x及以上版本。
- 在EMR集群中，已默認(rèn)部署JindoSDK。
路徑說(shuō)明
訪(fǎng)問(wèn)OSS和訪(fǎng)問(wèn)OSS-HDFS，僅路徑中的endpoint不同，其他使用方式均相同。兩種方式的路徑示例和描述如下：
| 存儲(chǔ)系統(tǒng) | 根路徑示例 | 描述 |
|---|---|---|
| OSS | oss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ | 在上海區(qū)域已創(chuàng)建了名為examplebucket的OSS Bucket，并使用內(nèi)網(wǎng)Endpoint訪(fǎng)問(wèn)。
說(shuō)明 在EMR集群中未掛載公網(wǎng)的節(jié)點(diǎn)，默認(rèn)不支持訪(fǎng)問(wèn)OSS公網(wǎng)Endpoint，即默認(rèn)不支持跨區(qū)域訪(fǎng)問(wèn)。
|
| OSS-HDFS | oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | 在上海區(qū)域已創(chuàng)建了名為examplebucket的OSS-HDFS Bucket。
說(shuō)明 OSS-HDFS目前僅支持內(nèi)網(wǎng)訪(fǎng)問(wèn)，即默認(rèn)不支持跨區(qū)域訪(fǎng)問(wèn)。
|
訪(fǎng)問(wèn)方式
支持通過(guò)Hadoop Shell命令、Jindo CLI命令、POSIX命令和OSS控制臺(tái)四種方式訪(fǎng)問(wèn)OSS/OSS-HDFS。各訪(fǎng)問(wèn)方式的示例和描述如下：
| 訪(fǎng)問(wèn)方式 | 示例 | 描述 |
|---|---|---|
| Hadoop Shell命令 | hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | JindoSDK中的JindoOssFileSystem是Hadoop FileSystem的一種實(shí)現(xiàn)。執(zhí)行Hadoop Shell命令時(shí)通過(guò)識(shí)別路徑中的endpoint來(lái)訪(fǎng)問(wèn)OSS/OSS-HDFS。更多使用方式，請(qǐng)參見(jiàn)通過(guò)Hadoop Shell命令訪(fǎng)問(wèn)OSS/OSS-HDFS。 |
| Jindo CLI命令 | jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Jindo CLI命令訪(fǎng)問(wèn)OSS/OSS-HDFS的方式與Hadoop Shell方式類(lèi)似。此外，還支持了更多的功能，比如歸檔、緩存、錯(cuò)誤分析等，具體信息請(qǐng)參見(jiàn)通過(guò)Jindo CLI命令訪(fǎng)問(wèn)OSS/OSS-HDFS。 |
| POSIX命令 | mkdir -p /mnt/oss jindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ ls /mnt/oss | 通過(guò)實(shí)現(xiàn)FUSE API，JindoFuse可以通過(guò)掛載OSS/OSS-HDFS路徑到本地路徑的方式，使您可以像訪(fǎng)問(wèn)本地文件一樣訪(fǎng)問(wèn)OSS/OSS-HDFS。 具體信息請(qǐng)參見(jiàn)通過(guò)POSIX命令訪(fǎng)問(wèn)OSS/OSS-HDFS。 |
| OSS控制臺(tái) |  |
您需要登錄OSS控制臺(tái)進(jìn)行操作，具體操作步驟為：
|