• 場景一：導入HDFS數據至OSS，需要使用哪些參數？如果數據量很大、文件很多（百萬千萬級別）時，該使用哪些參數優化？
• 場景二：使用Jindo DistCp成功導完數據后，如何驗證數據完整性？
• 場景三：導入HDFS數據至OSS時，DistCp任務存在隨時失敗的情況，該使用哪些參數支持斷點續傳？
• 場景四：成功導入HDFS數據至OSS，數據不斷增量增加，在Distcp過程中可能已經產生了新文件，該使用哪些參數處理？
• 場景五：如果需要指定Jindo DistCp作業在Yarn上的隊列以及可用帶寬，該使用哪些參數？
• 場景六：當通過低頻或者歸檔形式寫入OSS，該使用哪些參數？
• 場景七：針對小文件比例和文件大小情況，該使用哪些參數來優化傳輸速度？
• 場景八：如果需要使用S3作為數據源，該使用哪些參數？
• 場景九：如果需要寫入文件至OSS上并壓縮（LZO和GZ格式等）時，該使用哪些參數？
• 場景十：如果需要把本次Copy中符合特定規則或者同一個父目錄下的部分子目錄作為Copy對象，該使用哪些參數？
• 場景十一：如果想合并符合一定規則的文件，以減少文件個數，該使用哪些參數？
• 場景十二：如果Copy完文件，需要刪除原文件，只保留目標文件時，該使用哪些參數？
• 場景十三：如果不想將OSS AccessKey這種參數寫在命令行里，該如何處理？

• 可以訪問HDFS，并有讀數據權限。
• 需要提供OSS的AccessKey（AccessKey ID和AccessKey Secret），以及Endpoint信息，且該AccessKey具有寫目標Bucket的權限。
• OSS Bucket不能為歸檔類型。
• 環境可以提交MapReduce任務。
• 已下載Jindo DistCp JAR包。

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --parallelism 10

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --parallelism 500 --enableBatch

• Jindo DistCp Counters
  您可以在MapReduce任務結束的Counter信息中，獲取Distcp Counters的信息。

  Distcp Counters
          Bytes Destination Copied=11010048000
          Bytes Source Read=11010048000
          Files Copied=1001
      
  Shuffle Errors
          BAD_ID=0
          CONNECTION=0
          IO_ERROR=0
          WRONG_LENGTH=0
          WRONG_MAP=0
          WRONG_REDUCE=0

  參數含義如下：

  • Bytes Destination Copied：表示目標端寫文件的字節數大小。
  • Bytes Source Read：表示源端讀文件的字節數大小。
  • Files Copied：表示成功Copy的文件數。
• Jindo DistCp --diff

  您可以使用--diff命令，進行源端和目標端的文件比較，該命令會對文件名和文件大小進行比較，記錄遺漏或者未成功傳輸的文件，存儲在提交命令的當前目錄下，生成manifest文件。

  在場景一的基礎上增加--diff參數即可，示例如下。

  hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --diff

  當全部文件傳輸成功時，系統返回如下信息。

  INFO distcp.JindoDistCp: distcp has been done completely

1. 增加一個--diff命令，查看所有文件是否都傳輸完成。

   hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --diff

   當所有文件都傳輸完成，則會提示如下信息。

   INFO distcp.JindoDistCp: distcp has been done completely.

2. 文件沒有傳輸完成時會生成manifest文件，您可以使用--copyFromManifest和--previousManifest命令進行剩余文件的Copy。示例如下。

   hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --dest oss://yang-hhht/hourly_table --previousManifest=file:///opt/manifest-2020-04-17.gz --copyFromManifest --parallelism 20

   file:///opt/manifest-2020-04-17.gz為您當前執行命令的本地路徑。

• --queue：指定Yarn隊列的名稱。
• --bandwidth：指定帶寬的大小，單位為MB。

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --queue yarnqueue --bandwidth 6 --parallelism 10

• --s3Key：連接S3的AccessKey ID。
• --s3Secret：連接S3的AccessKey Secret。
• --s3EndPoint：連接S3的EndPoint信息。

hadoop jar jindo-distcp-<version>.jar --src s3a://yourbucket/ --dest oss://yang-hhht/hourly_table --s3Key yourkey --s3Secret yoursecret --s3EndPoint s3-us-west-1.amazonaws.com --parallelism 10

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --outputCodec=gz --parallelism 10

• none表示保存為未壓縮的文件。如果文件已壓縮，則Jindo DistCp會將其解壓縮。
• keep表示不更改文件壓縮形態，按原樣復制。

• --targetSize：合并文件的最大大小，單位MB。
• --groupBy：合并規則，正則表達式。

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --targetSize=10 --groupBy='.*/([a-z]+).*.txt' --parallelism 20

hadoop jar jindo-distcp-<version>.jar --src /data/incoming/hourly_table --dest oss://yang-hhht/hourly_table --ossKey yourkey --ossSecret yoursecret --ossEndPoint oss-cn-hangzhou.aliyuncs.com --deleteOnSuccess --parallelism 10

• 如果您需要保存OSS的AccessKey相關信息，您需要將以下信息保存在core-site.xml中。

  <configuration>
      <property>
          <name>fs.jfs.cache.oss-accessKeyId</name>
          <value>xxx</value>
      </property>
  
      <property>
          <name>fs.jfs.cache.oss-accessKeySecret</name>
          <value>xxx</value>
      </property>
  
      <property>
          <name>fs.jfs.cache.oss-endpoint</name>
          <value>oss-cn-xxx.aliyuncs.com</value>
      </property>
  </configuration>

• 如果您需要保存S3的AccessKey相關信息，您需要將以下信息保存在core-site.xml中。

  <configuration>
      <property>
          <name>fs.s3a.access.key</name>
          <value>xxx</value>
      </property>
      <property>
          <name>fs.s3a.secret.key</name>
          <value>xxx</value>
      </property>
      <property>
          <name>fs.s3.endpoint</name>
          <value>s3-us-west-1.amazonaws.com</value>
      </property>
  </configuration>