遷移實(shí)施
本文中含有需要您注意的重要提示信息,忽略該信息可能對(duì)您的業(yè)務(wù)造成影響,請(qǐng)務(wù)必仔細(xì)閱讀。
本文介紹數(shù)據(jù)遷移的注意事項(xiàng)和操作步驟。
注意事項(xiàng)
使用在線遷移服務(wù)遷移數(shù)據(jù)時(shí)需要注意以下事項(xiàng):
在線遷移服務(wù)使用源站存儲(chǔ)服務(wù)提供商公開的標(biāo)準(zhǔn)接口來訪問源數(shù)據(jù),其行為依賴于源站存儲(chǔ)服務(wù)提供商的具體實(shí)現(xiàn)。
在線遷移會(huì)占用源地址和目的地址的資源,可能會(huì)影響業(yè)務(wù)正常運(yùn)行。若您的業(yè)務(wù)比較重要,請(qǐng)?zhí)崆白龊迷u(píng)估后對(duì)遷移任務(wù)設(shè)置限速,或在空閑時(shí)間啟動(dòng)遷移任務(wù)。
在線遷移前會(huì)檢查源地址和目的地址的文件,但是若您源和目的地址有相同文件名的文件,且在遷移任務(wù)中配置了覆蓋方式為覆蓋,遷移時(shí)會(huì)直接覆蓋目的地址的文件。若兩個(gè)文件內(nèi)容不同,必須更改文件名或做好備份。
在線遷移會(huì)保留源文件的最后修改時(shí)間屬性,如果目的Bucket設(shè)置了生命周期規(guī)則,且遷移后文件處于該生命周期規(guī)則生效的時(shí)間范圍內(nèi),則該文件可能會(huì)在規(guī)則生效時(shí)被刪除或轉(zhuǎn)為指定的歸檔類型。
遷移限制
在線遷移目前僅支持單次遷移單個(gè)Bucket數(shù)據(jù),無法將整個(gè)賬號(hào)的數(shù)據(jù)一次性遷移。
步驟一:創(chuàng)建源地址
使用創(chuàng)建的RAM用戶登錄阿里云數(shù)據(jù)在線遷移控制臺(tái)。
在左側(cè)導(dǎo)航欄,選擇
,單擊創(chuàng)建數(shù)據(jù)地址。在創(chuàng)建數(shù)據(jù)地址頁面,配置如下參數(shù),然后單擊確認(rèn)。
參數(shù)
是否必選
說明
數(shù)據(jù)類型
是
選擇QI NIU。
數(shù)據(jù)名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
Endpoint
是
填寫存儲(chǔ)空間所在區(qū)域?qū)?yīng)的域名。填寫格式為
http://融合CDN測試域名
或者http://自定義融合CDN加速域名
。您可以在七牛云管理控制臺(tái)查看域名。
重要七牛云的測試域名有單IP訪問次數(shù)和帶寬的限制。建議您使用融合CDN加速域名創(chuàng)建遷移任務(wù)。
關(guān)于域名的更多信息,請(qǐng)參見測試域名使用規(guī)范(鏈接文檔僅供參考,由于源站變更,文檔可能已經(jīng)過時(shí)。)。
Bucket
是
七牛對(duì)象存儲(chǔ)的存儲(chǔ)空間,只需填寫自定義名稱。例如空間名稱為
example-1234567890
,則填寫example
。Prefix
是
您可以指定數(shù)據(jù)路徑前綴遷移部分?jǐn)?shù)據(jù)。
指定前綴:遷移指定目錄(前綴)下的數(shù)據(jù)。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結(jié)尾。
不指定前綴:遷移整個(gè)Bucket中的數(shù)據(jù)。
AccessKey和SecretKey
是
輸入七牛云訪問密鑰,用于七牛云進(jìn)行身份識(shí),確認(rèn)該用戶是否有讀取源數(shù)據(jù)的權(quán)限。
步驟二:創(chuàng)建目的地址
選擇
,然后單擊創(chuàng)建數(shù)據(jù)地址。在創(chuàng)建數(shù)據(jù)地址頁面,配置相關(guān)參數(shù),然后單擊確定。
參數(shù)
是否必選
說明
數(shù)據(jù)類型
是
選擇OSS。
數(shù)據(jù)名稱
是
輸入3-63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
數(shù)據(jù)所在區(qū)域
是
選擇目的地址所在的地域。
開通并使用傳輸加速
否
在線遷移服務(wù)使用OSS的傳輸加速服務(wù),需要開通Bucket的傳輸加速服務(wù)。開啟傳輸加速后,會(huì)在30分鐘內(nèi)生效,請(qǐng)?jiān)?0分鐘后再創(chuàng)建遷移任務(wù)。
重要開啟了傳輸加速的Bucket會(huì)收取傳輸加速費(fèi)用。關(guān)于傳輸加速的更多信息,請(qǐng)參見傳輸加速。
OSS Endpoint
是
根據(jù)您目的數(shù)據(jù)所在區(qū)域,選擇一個(gè)Endpoint。關(guān)于Endpoint的具體信息,請(qǐng)參見訪問域名。
說明將第三方數(shù)據(jù)遷移到OSS時(shí),只能選擇外網(wǎng)Endpoint。
AccessKeyId 和 AccessKeySecret
是
輸入創(chuàng)建的RAM用戶的AccessKey,用于OSS進(jìn)行身份識(shí)別,確認(rèn)該用戶是否有寫入遷移數(shù)據(jù)的權(quán)限。
OSS Bucket
是
選擇或輸入遷移目的所在的存儲(chǔ)桶(Bucket)名稱。
OSS Prefix
否
數(shù)據(jù)路徑前綴。
指定前綴:您可以設(shè)置數(shù)據(jù)路徑前綴將源數(shù)據(jù)遷移至指定目錄下。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結(jié)尾,例如
data/to/oss/
。不指定前綴:不設(shè)置數(shù)據(jù)路徑前綴時(shí),會(huì)將源數(shù)據(jù)遷移至目的Bucket的根目錄。
重要若您遷移的源地址文件中有以正斜線(/)開頭的文件名,配置目的地址的時(shí)候需要添加一個(gè)OSS Prefix,否則會(huì)導(dǎo)致遷移失敗。例如:需要遷移的文件中包含/test/test.png這個(gè)文件,您需要添加一個(gè)OSS Prefix,如:oss/。當(dāng)遷移完成后,/test/test.png的OSS文件名變?yōu)閛ss//test/test.png。
步驟三:創(chuàng)建遷移任務(wù)
在左側(cè)導(dǎo)航欄,選擇
,單擊創(chuàng)建遷移任務(wù)。在創(chuàng)建遷移任務(wù)面板,閱讀遷移服務(wù)條款協(xié)議,選中我理解如上條款,并開通數(shù)據(jù)遷移服務(wù),單擊下一步。
在彈出的費(fèi)用提示對(duì)話框,單擊確認(rèn),繼續(xù)創(chuàng)建。
在配置任務(wù)頁簽,配置如下參數(shù),單擊下一步。
參數(shù)
是否必選
說明
任務(wù)名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
源地址
是
選擇已創(chuàng)建的源地址。
目的地址
是
選擇已創(chuàng)建的目的地址。
指定目錄
否
設(shè)置遷移時(shí)包含或排除指定目錄下的文件和子目錄。
不過濾:不過濾遷移目錄。
排除:遷移時(shí),不遷移排除目錄下的文件和子目錄。
例如,當(dāng)您只想遷移
root_dir/
下除了root_dir/bad_sub1/
和root_dir/bad_sub2/
之外的所有目錄時(shí),您可以選擇排除模式,然后添加兩項(xiàng)bad_sub1/
和bad_sub2/
。包含:遷移時(shí),只遷移包含目錄下的文件和子目錄。
例如,當(dāng)您只想遷移
root_dir/
下的root_dir/good_sub1/
和root_dir/good_sub2/
這兩個(gè)目錄時(shí),您可以選擇包含模式,然后添加兩項(xiàng)good_sub1/
和good_sub2/
。
說明目錄中僅支持?jǐn)?shù)字和大小寫字母,除此之外的特殊字符可能會(huì)導(dǎo)致遷移失敗。
目錄不能以正斜線(/)或者反斜線(\)開頭,并且目錄中不能出現(xiàn)兩個(gè)正斜線(//),兩個(gè)半角句號(hào)(..)和半角雙引號(hào)("),提交的所有目錄總字符長度不能超過10 KB。
目錄要以正斜線(/)結(jié)尾,例如
docs/
。最多可設(shè)置20個(gè)排除目錄或者包含目錄。
遷移方式
是
選擇遷移數(shù)據(jù)的方式。
全量遷移:根據(jù)遷移起點(diǎn)時(shí)間遷移一次指定遷移起點(diǎn)時(shí)間之后的全量數(shù)據(jù),數(shù)據(jù)遷移完成后任務(wù)結(jié)束。
如果遷移完成后源數(shù)據(jù)有變化,您可以再次提交全量遷移任務(wù),系統(tǒng)將僅遷移變化的數(shù)據(jù)。
增量遷移:按設(shè)定的增量遷移間隔和增量遷移次數(shù)執(zhí)行遷移任務(wù)。
首次根據(jù)遷移起點(diǎn)時(shí)間遷移指定遷移起點(diǎn)時(shí)間之后的全量數(shù)據(jù)。首次遷移完成后,按照增量遷移時(shí)間間隔執(zhí)行增量遷移任務(wù),將源地址從前次遷移任務(wù)開始后到下次遷移開始前新增或修改的增量數(shù)據(jù)遷移至目的地址。
如果配置的增量遷移次數(shù)是N,則執(zhí)行1次全量遷移,之后執(zhí)行N-1次增量遷移。
例如:設(shè)置遷移間隔1小時(shí),遷移次數(shù)5次,遷移起點(diǎn)時(shí)間為2019-03-05 08:00,當(dāng)前時(shí)間為2019-03-10 08:00。則首次遷移最后修改時(shí)間在2019-03-05 08:00~2019-03-10 08:00之間的文件。假設(shè)遷移任務(wù)1小時(shí)完成,第二次遷移則從2019-03-10 10:00(遷移1小時(shí),遷移間隔1小時(shí))開始,遷移最后修改時(shí)間在2019-03-10 08:00~2019-03-10 10:00之間的文件,共進(jìn)行1次全量遷移和4次增量遷移。
重要全量遷移和增量遷移均會(huì)在每次遷移開始前,對(duì)源地址和目的地址的文件進(jìn)行對(duì)比。如果遷移同名文件,則以下三種情況的目標(biāo)地址文件會(huì)被覆蓋。
源地址文件與目標(biāo)地址文件的Content-Type不一致,目標(biāo)地址文件會(huì)被覆蓋。
源地址文件的最后修改時(shí)間晚于目標(biāo)地址文件的最后修改時(shí)間,目標(biāo)地址文件會(huì)被覆蓋。
源地址文件與目標(biāo)地址文件的大小不一致,目標(biāo)地址文件會(huì)被覆蓋。
遷移文件起點(diǎn)時(shí)間
是
選擇遷移文件的起點(diǎn)時(shí)間。
遷移全部:遷移所有時(shí)間的文件。
指定時(shí)間:只遷移指定時(shí)間之后創(chuàng)建或修改的文件。
例如指定時(shí)間設(shè)置為2018-11-01 08:00:00,則只遷移2018年11月01日8點(diǎn)之后創(chuàng)建或修改的文件,在這個(gè)時(shí)間之前創(chuàng)建或修改的文件被忽略。
增量遷移間隔
是(針對(duì)增量遷移)
默認(rèn)值1小時(shí),最大值24小時(shí)。
增量遷移次數(shù)
是(針對(duì)增量遷移)
默認(rèn)值1次,最大值30次。
文件覆蓋方式
是
源地址中文件和目的地址中文件同名時(shí),遷移過程中執(zhí)行的覆蓋方式。包括如下選項(xiàng):
最后修改時(shí)間優(yōu)先:對(duì)于同名文件,判斷兩個(gè)文件的LastModified,即最后修改時(shí)間。
如果源地址中文件的LastModified晚于目的地址中文件的LastModified,則執(zhí)行覆蓋。
如果源地址中文件的LastModified早于目的地址中文件的LastModified,則執(zhí)行跳過。
如果兩個(gè)文件的LastModified相同,則繼續(xù)判斷兩個(gè)文件的Size和Content-Type是否均相同。
如果兩個(gè)文件的Size和Content-Type均相同,則執(zhí)行跳過;如果兩個(gè)文件的Size或者Content-Type中存在至少一個(gè)不同,則執(zhí)行覆蓋。
條件覆蓋:對(duì)于同名文件,判斷兩個(gè)文件的LastModified、Size和Content-Type是否相同。
如果兩個(gè)文件的LastModified、Size和Content-Type均相同,則執(zhí)行跳過。
如果兩個(gè)文件的LastModified、Size和Content-Type中存在至少一個(gè)不同,則執(zhí)行覆蓋。
全覆蓋:對(duì)于同名文件,不進(jìn)行任何判斷,直接執(zhí)行覆蓋。
不覆蓋:對(duì)于同名文件,不進(jìn)行任何判斷,直接執(zhí)行跳過。
警告條件覆蓋或最后修改時(shí)間優(yōu)先無法嚴(yán)格保證一定不會(huì)覆蓋更新的文件,存在舊文件覆蓋新文件的風(fēng)險(xiǎn)。
若您選擇條件覆蓋或最后修改時(shí)間優(yōu)先覆蓋策略時(shí),請(qǐng)務(wù)必確保源端文件能返回LastModified、Size、Content-Type等信息,否則覆蓋策略可能失效,產(chǎn)生非預(yù)期的遷移結(jié)果。
在性能調(diào)優(yōu)頁簽的數(shù)據(jù)預(yù)估區(qū)域,填寫待遷移存儲(chǔ)量和待遷移文件個(gè)數(shù)。
說明為了遷移任務(wù)的順利進(jìn)行,請(qǐng)盡量準(zhǔn)確進(jìn)行數(shù)據(jù)預(yù)估。更多信息,請(qǐng)參見預(yù)估遷移數(shù)據(jù)。
可選:在性能調(diào)優(yōu)頁簽的流量控制區(qū)域,設(shè)置限流時(shí)間段和最大流量,然后單擊添加。
說明為了不影響您在線業(yè)務(wù)的訪問,建議您根據(jù)業(yè)務(wù)訪問的波峰和波谷來設(shè)置遷移時(shí)的限流時(shí)間段和最大流量。
單擊創(chuàng)建,等待遷移任務(wù)完成。
步驟四:校驗(yàn)數(shù)據(jù)
遷移服務(wù)僅負(fù)責(zé)數(shù)據(jù)的遷移,無法保證數(shù)據(jù)的一致性和完整性。遷移任務(wù)完成后,請(qǐng)您全量校驗(yàn)遷移的數(shù)據(jù),務(wù)必自行做好源端和目的端數(shù)據(jù)一致性校驗(yàn)。
請(qǐng)您務(wù)必在遷移任務(wù)完成后,校驗(yàn)?zāi)康亩诉w移數(shù)據(jù)。您在刪除源數(shù)據(jù)前,未校驗(yàn)?zāi)康亩诉w移數(shù)據(jù)無誤,導(dǎo)致數(shù)據(jù)丟失所引起的一切損失和后果均由您自行承擔(dān)。