本文介紹在E-MapReduce作業配置中使用的OSS URI。

OSS URI

使用E-MapReduce時，通常會使用兩種OSS URI：
  • native URI：oss://bucket[.endpoint]/object/path。

    您在作業中指定輸入輸出數據源時使用此URI，等同于hdfs://。您操作OSS數據時，可以將AccessKey Id、AccessKey Secret以及Endpoint配置到Configuration中。

  • ref URI：ossref://bucket/object/path

    僅在E-MapReduce作業配置時有效，用來指定作業運行需要的資源。

    例如，以下作業配置示例：作業配置
重要

當前所有操作僅支持標準存儲類型的OSS。

E-MapReduce使用Multipart方式向OSS上傳大文件。當作業異常中斷后，OSS中會殘留作業的部分結果數據，需要您手動刪掉。此方式和使用HDFS的方式是一致的，區別在于，E-MapReduce會用到Multipart方式上傳大文件，會上傳文件碎片到OSS的碎片管理中，所以您不僅要刪除OSS文件管理中的作業殘留文件，還需將OSS碎片管理中的文件碎片清理一次，否則會產生數據存儲費用。您也可以配置碎片的生命周期，配置完成后過期的文件碎片會被自動清理掉。