通過聯(lián)邦分析同步數(shù)據(jù)
PolarDB MySQL版的聯(lián)邦分析功能已于2024年7月23日完成迭代升級。該功能的入口已下線,不再支持新建任務(wù)。后續(xù)您可前往PolarDB控制臺-數(shù)據(jù)集成,進(jìn)行同步任務(wù)的創(chuàng)建。詳情請參見通過無感集成同步數(shù)據(jù)。
若您已經(jīng)設(shè)置了聯(lián)邦分析鏈路,您仍可在華東1(杭州)、華東2(上海)、華南1(深圳)、華北2(北京)、美國(弗吉尼亞)地區(qū)看到聯(lián)邦分析入口,以便進(jìn)行鏈路管理。
聯(lián)邦分析使用AnalyticDB for MySQL的免費(fèi)高速數(shù)據(jù)管道服務(wù)(APS)將PolarDB MySQL中的數(shù)據(jù)實(shí)時(shí)同步至AnalyticDB for MySQL企業(yè)版、基礎(chǔ)版及湖倉版集群中,幫助您一站式完成數(shù)據(jù)同步與管理。本文介紹如何通過聯(lián)邦分析將PolarDB MySQL中的數(shù)據(jù)同步至AnalyticDB for MySQL企業(yè)版、基礎(chǔ)版及湖倉版集群。
前提條件
PolarDB MySQL實(shí)例與AnalyticDB for MySQL企業(yè)版、基礎(chǔ)版及湖倉版集群位于同一地域。具體操作,請參見創(chuàng)建實(shí)例和創(chuàng)建集群。
PolarDB MySQL實(shí)例已開啟Binlog功能。具體操作,請參見開啟Binlog。
使用限制
PolarDB MySQL聯(lián)邦分析僅支持AnalyticDB for MySQL企業(yè)版、基礎(chǔ)版及湖倉版集群。
僅部分地域支持聯(lián)邦分析:華北1(青島)、華北2(北京)、華北3(張家口)、華東1(杭州)、華東2(上海)、華南1(深圳)、華南3(廣州)、中國(香港)、日本(東京)、新加坡、馬來西亞(吉隆坡)、印度尼西亞(雅加達(dá))、美國(硅谷)、美國(弗吉尼亞)、德國(法蘭克福)、英國(倫敦)。
單個(gè)PolarDB MySQL實(shí)例僅允許創(chuàng)建3個(gè)同步鏈路任務(wù);單個(gè)地域僅允許創(chuàng)建30個(gè)同步鏈路任務(wù)。
創(chuàng)建同步鏈路
登錄PolarDB控制臺。
在頁面左上角,選擇目標(biāo)實(shí)例所在地域。
在左側(cè)導(dǎo)航欄選擇聯(lián)邦分析。
單擊新建鏈路,在彈出的新建鏈路面板中配置如下參數(shù):
參數(shù)
說明
任務(wù)名稱
您可以自定義任務(wù)名稱。任務(wù)名稱默認(rèn)為data-sync-時(shí)間標(biāo)識。
PolarDB MySQL集群
源PolarDB MySQL實(shí)例ID。
源數(shù)據(jù)庫賬號名
聯(lián)邦分析會(huì)自動(dòng)為PolarDB MySQL實(shí)例創(chuàng)建數(shù)據(jù)庫賬號,執(zhí)行數(shù)據(jù)同步操作。數(shù)據(jù)庫賬號以sync開頭,請勿刪除或修改該數(shù)據(jù)庫賬號名稱。
AnalyticDB MySQL實(shí)例
目標(biāo)AnalyticDB for MySQL集群ID。
您可以選擇已有的企業(yè)版、基礎(chǔ)版及湖倉版集群或單擊點(diǎn)擊新建AnalyticDB MySQL實(shí)例,新建企業(yè)版、基礎(chǔ)版及湖倉版集群。
高級設(shè)置
默認(rèn)關(guān)閉。關(guān)閉時(shí)為源端整實(shí)例同步。
開啟高級配置后可配置同步庫表選擇和大表分區(qū)鍵設(shè)置參數(shù)。
同步庫表選擇
您可以選擇需要同步的數(shù)據(jù)庫和數(shù)據(jù)表。默認(rèn)同步源端所有的庫表。
重要不支持同步無主鍵的表,無主鍵的表會(huì)被自動(dòng)過濾。
AnalyticDB for MySQL每個(gè)集群最多可創(chuàng)建2048個(gè)數(shù)據(jù)庫。更多信息,請參見使用限制。
大表分區(qū)鍵設(shè)置
為了提高數(shù)據(jù)的寫入和查詢性能,建議您設(shè)置分區(qū)鍵。如何設(shè)置分區(qū)鍵,請參見表結(jié)構(gòu)設(shè)計(jì)。
支持設(shè)置的分區(qū)格式如下:
value:按值進(jìn)行分區(qū)。
yyyyMMdd:按年、月、日進(jìn)行分區(qū)。
yyyyMM:按年、月進(jìn)行分區(qū)。
yyyy:按年進(jìn)行分區(qū)。
單擊確定。任務(wù)自動(dòng)啟動(dòng)。
在聯(lián)邦分析頁面,您可以查看已創(chuàng)建的任務(wù),也可以在操作列查看、編輯、刪除、暫停、啟動(dòng)同步任務(wù)。
重要任務(wù)刪除后無法恢復(fù)。
單擊目標(biāo)實(shí)例ID,頁面將自動(dòng)跳轉(zhuǎn)到云原生數(shù)據(jù)倉庫 AnalyticDB MySQL 版控制臺。您可以在AnalyticDB for MySQL控制臺進(jìn)行數(shù)據(jù)分析。相關(guān)操作請參見SQL開發(fā)編輯器。
后續(xù)操作
創(chuàng)建同步鏈路后,您可以進(jìn)行SQL開發(fā)或Spark開發(fā),具體開發(fā)步驟請參考以下文檔: