本文介紹某電商公司將本地IDC數據遷移到OSS的案例。

背景信息

某電商公司內部自建的IDC，使用了分布式文件系統FastDFS存儲數據。數據約為300TB大小，3000萬個文件。該公司已通過高速通道專線將本地IDC與深圳地域的阿里云VPC網絡打通。

現因公司發展需要，考慮將業務切換到OSS上。為保證公司業務正常進行，此次業務切換需做到如下要求。
  • 遷移中，需保證業務的正常進行，不能影響其客戶正常讀取數據。
  • 遷移完成后，需保證數據完整，業務可無縫切換。

遷移方案

根據客戶需求及背景信息，制定了如下遷移方案。
  1. 創建一個深圳地域的存儲空間（Bucket），并將默認數據存儲地址修改為該存儲空間的地址。
  2. 通過本地FastDFS內置的nginx模塊，將所有待遷文件導出成多個HTTP列表地址，并且您可以在您的VPC內訪問這些HTTP列表地址。

    HTTP列表地址，按行分割，每行一個文件，文件之間換行用\n分割，具體格式請參見HTTP HTTPS源遷移教程。

  3. 通過阿里云在線遷移服務將客戶的數據從本地IDC遷移到OSS。
  4. 遷移完成后，將業務切換到OSS上。

步驟一：創建Bucket并修改存儲地址

  1. 在深圳地域，創建用于存儲數據的Bucket，配置方法請參見創建存儲空間。
  2. 設置Bucket Policy，允許公司內部員工訪問此Bucket，配置方法請參見通過Bucket Policy授權用戶訪問指定資源。
  3. 公司內部員工將默認數據存儲地址修改為此Bucket。

步驟二：創建遷移任務

  1. 在阿里云上創建RAM用戶，授予RAM用戶創建遷移任務的相關權限。具體操作，請參見創建RAM用戶并授予相關權限。
  2. 使用剛剛創建的RAM用戶登錄數據遷移服務控制臺。
  3. 創建HTTP源數據地址。具體操作，請參見創建源地址。
    創建HTTP源數據地址時，是否使用VPC配置為使用， 并指定您自己的VPC。因為此次遷移是在VPC內訪問，所以指定VPC后，才能正常訪問HTTP列表地址，具體配置如下圖所示。創建HTTP源數據地址
  4. 創建OSS數據地址。具體操作，請參見創建目的地址。
    創建目的地址
  5. 創建一個全量遷移任務，并配置性能調優。具體操作，請參見創建遷移任務。
    說明 根據該公司提供的可用帶寬，遷移過程需要持續約2天時間。實際使用中，請根據自身的帶寬使用情況配置合理的限速規則。
  6. 遷移完成后，需通過查看遷移報告，并對比源地址和目的地址的數據，確認數據已經遷移完成。
    說明 如果出現文件遷移失敗的情況，請參見遷移失敗常見問題及解決方案。

步驟三：切換業務到OSS

遷移完成后，您在業務服務器上將數據讀取的源地址切換到OSS，后續的數據存儲、管理等都在OSS上進行。