遷移實(shí)施
本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業(yè)務(wù)造成影響,請務(wù)必仔細(xì)閱讀。
本文介紹數(shù)據(jù)遷移的注意事項(xiàng)和操作步驟。
注意事項(xiàng)
使用在線遷移服務(wù)遷移數(shù)據(jù)時(shí)需要注意以下事項(xiàng):
在線遷移服務(wù)使用源站存儲服務(wù)提供商公開的標(biāo)準(zhǔn)接口來訪問源數(shù)據(jù),其行為依賴于源站存儲服務(wù)提供商的具體實(shí)現(xiàn)。
在線遷移會占用源地址和目的地址的資源,可能會影響業(yè)務(wù)正常運(yùn)行。若您的業(yè)務(wù)比較重要,請?zhí)崆白龊迷u估后對遷移任務(wù)設(shè)置限速,或在空閑時(shí)間啟動遷移任務(wù)。
在線遷移前會檢查源地址和目的地址的文件,但是若您源和目的地址有相同文件名的文件,且在遷移任務(wù)中配置了覆蓋方式為覆蓋,遷移時(shí)會直接覆蓋目的地址的文件。若兩個文件內(nèi)容不同,必須更改文件名或做好備份。
在線遷移會保留源文件的最后修改時(shí)間屬性,如果目的Bucket設(shè)置了生命周期規(guī)則,且遷移后文件處于該生命周期規(guī)則生效的時(shí)間范圍內(nèi),則該文件可能會在規(guī)則生效時(shí)被刪除或轉(zhuǎn)為指定的歸檔類型。
遷移限制
在線遷移目前僅支持單次遷移單個Bucket數(shù)據(jù),無法將整個賬號的數(shù)據(jù)一次性遷移。
步驟一:創(chuàng)建源地址
使用創(chuàng)建的RAM用戶登錄阿里云數(shù)據(jù)在線遷移控制臺。
在左側(cè)導(dǎo)航欄,選擇
,單擊創(chuàng)建數(shù)據(jù)地址。在創(chuàng)建數(shù)據(jù)地址頁面,配置如下參數(shù),然后單擊確認(rèn)。
參數(shù)
是否必選
說明
數(shù)據(jù)類型
是
選擇Azure Blob。
數(shù)據(jù)名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
連接字符串
是
連接字符串為EndpointSuffix后的內(nèi)容,例如
core.chinacloudapi.cn
,您可以在Azure控制臺查看。具體操作,請參見查看賬戶訪問密鑰。重要鏈接文檔僅供參考,由于源站變更,文檔可能已經(jīng)過時(shí)。
容器
是
Azure空間名稱,由blob構(gòu)成。此處區(qū)分大小寫,嚴(yán)格按照創(chuàng)建時(shí)輸入。
前綴
是
您可以指定數(shù)據(jù)路徑前綴遷移部分?jǐn)?shù)據(jù)。
指定前綴:遷移指定目錄(前綴)下的數(shù)據(jù)。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結(jié)尾。
不指定前綴:遷移整個Bucket中的數(shù)據(jù)。
存儲賬戶
是
待遷移的存儲賬戶名稱。您可以在Azure控制臺單擊存儲賬戶,頁面會顯示存儲賬戶列表。
密鑰
是
待遷移的存儲賬戶的密鑰,您可以在Azure控制臺單擊存儲賬戶,然后選擇待遷移的存儲賬戶,在左側(cè)導(dǎo)航欄單擊訪問密鑰 ,查看密鑰。
步驟二:創(chuàng)建目的地址
選擇
,單擊創(chuàng)建數(shù)據(jù)地址。在創(chuàng)建數(shù)據(jù)地址頁面,配置如下參數(shù),然后單擊確定。
參數(shù)
是否必選
說明
數(shù)據(jù)類型
是
選擇OSS。
數(shù)據(jù)名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
數(shù)據(jù)所在區(qū)域
是
選擇目的地址所在的地域。
開通并使用傳輸加速
否
在線遷移服務(wù)使用OSS的傳輸加速服務(wù),需要開通Bucket的傳輸加速服務(wù)。開啟傳輸加速后,會在30分鐘內(nèi)生效,請?jiān)?0分鐘后再創(chuàng)建遷移任務(wù)。
重要開啟了傳輸加速的Bucket會收取傳輸加速費(fèi)用。關(guān)于傳輸加速的更多信息,請參見傳輸加速。
OSS Endpoint
是
根據(jù)您目的數(shù)據(jù)所在區(qū)域,選擇一個Endpoint。關(guān)于Endpoint的具體信息,請參見訪問域名。
說明將第三方數(shù)據(jù)遷移到OSS時(shí),只能選擇外網(wǎng)Endpoint訪問OSS。
AccessKey Id
是
輸入創(chuàng)建的RAM用戶的AccessKey,用于OSS進(jìn)行身份識別,確認(rèn)該用戶是否有寫入遷移數(shù)據(jù)的權(quán)限。
AccessKey Secret
是
OSS Bucket
是
選擇或輸入遷移目的所在的存儲桶(Bucket)名稱。
OSS Prefix
否
數(shù)據(jù)路徑前綴。
指定前綴:您可以設(shè)置數(shù)據(jù)路徑前綴將源數(shù)據(jù)遷移至指定目錄下。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結(jié)尾,例如
data/to/oss/
。不指定前綴:不設(shè)置數(shù)據(jù)路徑前綴時(shí),會將源數(shù)據(jù)遷移至目的Bucket的根目錄。
重要若您遷移的源地址文件中有以正斜線(/)開頭的文件名,配置目的地址的時(shí)候需要添加一個OSS Prefix,否則會導(dǎo)致遷移失敗。例如:需要遷移的文件中包含/test/test.png這個文件,您需要添加一個OSS Prefix,例如oss/。當(dāng)遷移完成后,/test/test.png的OSS文件名變?yōu)閛ss//test/test.png。
步驟三:創(chuàng)建遷移任務(wù)
在左側(cè)導(dǎo)航欄,選擇
,單擊創(chuàng)建遷移任務(wù)。在創(chuàng)建遷移任務(wù)面板,閱讀遷移服務(wù)條款協(xié)議,選中我理解如上條款,并開通數(shù)據(jù)遷移服務(wù),單擊下一步。
在彈出的費(fèi)用提示對話框,單擊確認(rèn),繼續(xù)創(chuàng)建。
在配置任務(wù)頁簽,配置如下參數(shù),單擊下一步。
參數(shù)
是否必選
說明
任務(wù)名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
源地址
是
選擇已創(chuàng)建的源地址。
目的地址
是
選擇已創(chuàng)建的目的地址。
指定目錄
否
設(shè)置遷移時(shí)包含或排除指定目錄下的文件和子目錄。
不過濾:不過濾遷移目錄。
排除:遷移時(shí),不遷移排除目錄下的文件和子目錄。
例如,當(dāng)您只想遷移
root_dir/
下除了root_dir/bad_sub1/
和root_dir/bad_sub2/
之外的所有目錄時(shí),您可以選擇排除模式,然后添加兩項(xiàng)bad_sub1/
和bad_sub2/
。包含:遷移時(shí),只遷移包含目錄下的文件和子目錄。
例如,當(dāng)您只想遷移
root_dir/
下的root_dir/good_sub1/
和root_dir/good_sub2/
這兩個目錄時(shí),您可以選擇包含模式,然后添加兩項(xiàng)good_sub1/
和good_sub2/
。
說明目錄中僅支持?jǐn)?shù)字和大小寫字母,除此之外的特殊字符可能會導(dǎo)致遷移失敗。
目錄不能以正斜線(/)或者反斜線(\)開頭,并且目錄中不能出現(xiàn)兩個正斜線(//),兩個半角句號(..)和半角雙引號("),提交的所有目錄總字符長度不能超過10 KB。
目錄要以正斜線(/)結(jié)尾,例如
docs/
。最多可設(shè)置20個排除目錄或者包含目錄。
遷移方式
是
選擇遷移數(shù)據(jù)的方式。
全量遷移:根據(jù)遷移起點(diǎn)時(shí)間遷移一次指定遷移起點(diǎn)時(shí)間之后的全量數(shù)據(jù),數(shù)據(jù)遷移完成后任務(wù)結(jié)束。
如果遷移完成后源數(shù)據(jù)有變化,您可以再次提交全量遷移任務(wù),系統(tǒng)將僅遷移變化的數(shù)據(jù)。
增量遷移:按設(shè)定的增量遷移間隔和增量遷移次數(shù)執(zhí)行遷移任務(wù)。
首次根據(jù)遷移起點(diǎn)時(shí)間遷移指定遷移起點(diǎn)時(shí)間之后的全量數(shù)據(jù)。首次遷移完成后,按照增量遷移時(shí)間間隔執(zhí)行增量遷移任務(wù),將源地址從前次遷移任務(wù)開始后到下次遷移開始前新增或修改的增量數(shù)據(jù)遷移至目的地址。
如果配置的增量遷移次數(shù)是N,則執(zhí)行1次全量遷移,之后執(zhí)行N-1次增量遷移。
例如:設(shè)置遷移間隔1小時(shí),遷移次數(shù)5次,遷移起點(diǎn)時(shí)間為2019-03-05 08:00,當(dāng)前時(shí)間為2019-03-10 08:00。則首次遷移最后修改時(shí)間在2019-03-05 08:00~2019-03-10 08:00之間的文件。假設(shè)遷移任務(wù)1小時(shí)完成,第二次遷移則從2019-03-10 10:00(遷移1小時(shí),遷移間隔1小時(shí))開始,遷移最后修改時(shí)間在2019-03-10 08:00~2019-03-10 10:00之間的文件,共進(jìn)行1次全量遷移和4次增量遷移。
重要全量遷移和增量遷移均會在每次遷移開始前,對源地址和目的地址的文件進(jìn)行對比。如果遷移同名文件,則以下三種情況的目標(biāo)地址文件會被覆蓋。
源地址文件與目標(biāo)地址文件的Content-Type不一致,目標(biāo)地址文件會被覆蓋。
源地址文件的最后修改時(shí)間晚于目標(biāo)地址文件的最后修改時(shí)間,目標(biāo)地址文件會被覆蓋。
源地址文件與目標(biāo)地址文件的大小不一致,目標(biāo)地址文件會被覆蓋。
遷移文件起點(diǎn)時(shí)間
是
選擇遷移文件的起點(diǎn)時(shí)間。
遷移全部:遷移所有時(shí)間的文件。
指定時(shí)間:只遷移指定時(shí)間之后創(chuàng)建或修改的文件。
例如指定時(shí)間設(shè)置為2018-11-01 08:00:00,則只遷移2018年11月01日8點(diǎn)之后創(chuàng)建或修改的文件,在這個時(shí)間之前創(chuàng)建或修改的文件被忽略。
增量遷移間隔
是(針對增量遷移)
默認(rèn)值1小時(shí),最大值24小時(shí)。
增量遷移次數(shù)
是(針對增量遷移)
默認(rèn)值1次,最大值30次。
文件覆蓋方式
是
源地址中文件和目的地址中文件同名時(shí),遷移過程中執(zhí)行的覆蓋方式。包括如下選項(xiàng):
最后修改時(shí)間優(yōu)先:對于同名文件,判斷兩個文件的LastModified,即最后修改時(shí)間。
如果源地址中文件的LastModified晚于目的地址中文件的LastModified,則執(zhí)行覆蓋。
如果源地址中文件的LastModified早于目的地址中文件的LastModified,則執(zhí)行跳過。
如果兩個文件的LastModified相同,則繼續(xù)判斷兩個文件的Size和Content-Type是否均相同。
如果兩個文件的Size和Content-Type均相同,則執(zhí)行跳過;如果兩個文件的Size或者Content-Type中存在至少一個不同,則執(zhí)行覆蓋。
條件覆蓋:對于同名文件,判斷兩個文件的LastModified、Size和Content-Type是否相同。
如果兩個文件的LastModified、Size和Content-Type均相同,則執(zhí)行跳過。
如果兩個文件的LastModified、Size和Content-Type中存在至少一個不同,則執(zhí)行覆蓋。
全覆蓋:對于同名文件,不進(jìn)行任何判斷,直接執(zhí)行覆蓋。
不覆蓋:對于同名文件,不進(jìn)行任何判斷,直接執(zhí)行跳過。
警告條件覆蓋或最后修改時(shí)間優(yōu)先無法嚴(yán)格保證一定不會覆蓋更新的文件,存在舊文件覆蓋新文件的風(fēng)險(xiǎn)。
若您選擇條件覆蓋或最后修改時(shí)間優(yōu)先覆蓋策略時(shí),請務(wù)必確保源端文件能返回LastModified、Size、Content-Type等信息,否則覆蓋策略可能失效,產(chǎn)生非預(yù)期的遷移結(jié)果。
在性能調(diào)優(yōu)頁簽的數(shù)據(jù)預(yù)估區(qū)域,填寫待遷移存儲量和待遷移文件個數(shù)。
說明為了遷移任務(wù)的順利進(jìn)行,請盡量準(zhǔn)確進(jìn)行數(shù)據(jù)預(yù)估。更多信息,請參見預(yù)估遷移數(shù)據(jù)。
可選:在性能調(diào)優(yōu)頁簽的流量控制區(qū)域,設(shè)置限流時(shí)間段和最大流量,然后單擊添加。
說明為了不影響您在線業(yè)務(wù)的訪問,建議您根據(jù)業(yè)務(wù)訪問的波峰和波谷來設(shè)置遷移時(shí)的限流時(shí)間段和最大流量。
單擊創(chuàng)建,等待遷移任務(wù)完成。
步驟四:校驗(yàn)數(shù)據(jù)
遷移服務(wù)僅負(fù)責(zé)數(shù)據(jù)的遷移,無法保證數(shù)據(jù)的一致性和完整性。遷移任務(wù)完成后,請您全量校驗(yàn)遷移的數(shù)據(jù),務(wù)必自行做好源端和目的端數(shù)據(jù)一致性校驗(yàn)。
請您務(wù)必在遷移任務(wù)完成后,校驗(yàn)?zāi)康亩诉w移數(shù)據(jù)。您在刪除源數(shù)據(jù)前,未校驗(yàn)?zāi)康亩诉w移數(shù)據(jù)無誤,導(dǎo)致數(shù)據(jù)丟失所引起的一切損失和后果均由您自行承擔(dān)。