通過數(shù)據(jù)同步功能同步SLS數(shù)據(jù)至數(shù)倉版
通過AnalyticDB for MySQL的數(shù)據(jù)同步功能,您可以將SLS中指定時間點之后產(chǎn)生的數(shù)據(jù)實時同步至基礎(chǔ)版或數(shù)倉版集群,以滿足日志數(shù)據(jù)實時分析的需求。
前提條件
基礎(chǔ)版或數(shù)倉版集群與日志服務(wù)SLS的Project和Logstore位于同一地域。具體操作,請參見創(chuàng)建集群和快速入門。
基礎(chǔ)版或數(shù)倉版集群中已創(chuàng)建數(shù)據(jù)庫賬號,并為該賬號授予目標(biāo)庫表的讀寫權(quán)限。具體操作,請參見創(chuàng)建數(shù)據(jù)庫賬號。
基礎(chǔ)版或數(shù)倉版集群中已創(chuàng)建目標(biāo)庫表。具體操作,請參見CREATE TABLE。
注意事項
目前AnalyticDB for MySQL集群中的一張表僅支持同步日志服務(wù)中的一個Logstore。若您需要同步多個Logstore,請創(chuàng)建多個數(shù)據(jù)表。
費用說明
該功能目前在免費公測中,公測結(jié)束時間為2024年5月30日,公測期間內(nèi),通過數(shù)據(jù)同步功能同步SLS數(shù)據(jù)時不收取費用。
使用流程
步驟一:配置RAM授權(quán)(可選)。
步驟二:新建數(shù)據(jù)源。
步驟三:創(chuàng)建同步鏈路。
步驟五:管理數(shù)據(jù)源。
配置RAM授權(quán)(可選)
如果您僅同步當(dāng)前阿里云賬號下的SLS數(shù)據(jù),可跳過該步驟,直接新建數(shù)據(jù)源。具體操作,請參見新建數(shù)據(jù)源。
跨賬號同步SLS數(shù)據(jù)到AnalyticDB for MySQL時,您需要在源端創(chuàng)建RAM角色,并為RAM角色精確授權(quán)、修改RAM角色的信任策略。
創(chuàng)建RAM角色。具體操作,請參見創(chuàng)建可信實體為阿里云賬號的RAM角色。
說明配置選擇信任的云賬號參數(shù)時,選擇其他云賬號,填寫AnalyticDB for MySQL集群所屬的阿里云賬號ID。您可以登錄賬號中心,在概覽頁面查看賬號ID。
通過精確授權(quán),為RAM角色授予AliyunAnalyticDBAccessingLogRolePolicy權(quán)限。具體操作,請參見為RAM角色精確授權(quán)。
修改RAM角色的信任策略,允許指定阿里云賬號下的AnalyticDB for MySQL集群可以扮演該RAM角色。具體操作,請參見修改RAM角色的信任策略。
{ "Statement": [ { "Action": "sts:AssumeRole", "Effect": "Allow", "Principal": { "RAM": [ "acs:ram::<阿里云賬號ID>:root" ], "Service": [ "<阿里云賬號ID>@ads.aliyuncs.com" ] } } ], "Version": "1" }
說明阿里云賬號ID為步驟1中填寫的AnalyticDB for MySQL集群所屬的阿里云賬號ID,配置時無需填寫尖括號(<>)。
新建數(shù)據(jù)源
如果您已添加了SLS數(shù)據(jù)源,可跳過該步驟,直接新建同步鏈路,詳情請參見創(chuàng)建同步鏈路。
登錄云原生數(shù)據(jù)倉庫AnalyticDB MySQL控制臺,在左上角選擇集群所在地域。在左側(cè)導(dǎo)航欄,單擊集群列表,在基礎(chǔ)版或數(shù)倉版頁簽,單擊目標(biāo)集群ID。
在左側(cè)導(dǎo)航欄,單擊
。單擊右上角的新建數(shù)據(jù)源。
在新建數(shù)據(jù)源頁面進行參數(shù)配置。參數(shù)說明如下表所示:
參數(shù)名稱
參數(shù)說明
數(shù)據(jù)源類型
選擇數(shù)據(jù)源類型SLS。
數(shù)據(jù)源名稱
系統(tǒng)默認按數(shù)據(jù)源類型與當(dāng)前時間生成名稱,可按需修改。
數(shù)據(jù)源描述
數(shù)據(jù)源備注描述,例如應(yīng)用場景、應(yīng)用業(yè)務(wù)限制等。
部署模式
目前僅支持阿里云實例。
SLS Project所在地域
SLS Project所在地域。
說明目前僅支持選擇AnalyticDB for MySQL集群所在地域。
是否跨阿里云主賬號
AnalyticDB for MySQL集群支持同步相同阿里云賬號或其他阿里云賬號(跨賬號)的SLS數(shù)據(jù)。
不跨賬號:同步當(dāng)前阿里云賬號下的SLS數(shù)據(jù)到AnalyticDB for MySQL集群。
跨賬號:同步其他阿里云賬號下的SLS數(shù)據(jù)到AnalyticDB for MySQL集群。選擇跨賬號同步數(shù)據(jù)時,您需要配置RAM授權(quán),并填寫跨阿里云主賬號和跨阿里云主賬號角色名。配置RAM授權(quán)的具體操作,請參見配置RAM授權(quán)。
說明跨阿里云主賬號:SLS Project所屬的阿里云賬號ID。
跨阿里云主賬號角色名:SLS Project所屬阿里云賬號下的RAM角色。即配置RAM授權(quán)步驟1創(chuàng)建的RAM角色。
SLS Project
源端SLS的Project。
SLS Logstore
源端SLS的Logstore。
參數(shù)配置完成后,單擊創(chuàng)建。
創(chuàng)建同步鏈路
在左側(cè)導(dǎo)航欄,單擊
。單擊右上角的新建同步鏈路。
在新建同步鏈路頁面,配置數(shù)據(jù)源及目標(biāo)端配置、目標(biāo)庫表配置和同步配置,參數(shù)說明如下表:
數(shù)據(jù)源及目標(biāo)端配置的參數(shù)說明如下:
參數(shù)名稱
參數(shù)說明
數(shù)據(jù)鏈路名稱
數(shù)據(jù)鏈路名稱。系統(tǒng)默認按數(shù)據(jù)源類型與當(dāng)前時間生成名稱,可按需修改。
數(shù)據(jù)源
選擇已有的SLS數(shù)據(jù)源,也可新建數(shù)據(jù)源。
ADB賬號
AnalyticDB for MySQL集群的數(shù)據(jù)庫賬號。
ADB密碼
AnalyticDB for MySQL集群數(shù)據(jù)庫賬號的密碼。
目標(biāo)庫表配置的參數(shù)說明如下:
參數(shù)名稱
參數(shù)說明
庫名
AnalyticDB for MySQL集群的數(shù)據(jù)庫名稱。
表名
AnalyticDB for MySQL集群的數(shù)據(jù)表名稱。
源端數(shù)據(jù)預(yù)覽
單擊點擊查看最近10條LogStore數(shù)據(jù),可以查看源端SLS的10條數(shù)據(jù)。
Schema字段映射
AnalyticDB for MySQL集群表的字段自動填充目標(biāo)字段和源字段。如果目標(biāo)字段與源字段的映射關(guān)系不正確,請手動修改。
例如:AnalyticDB for MySQL集群數(shù)據(jù)表的字段名為name,源端SLS數(shù)據(jù)字段名為user_name,系統(tǒng)會自動以name填充源字段和目標(biāo)字段,此時您需要手動修改源字段為user_name。
同步配置的參數(shù)說明如下:
參數(shù)名稱
參數(shù)說明
投遞起始位點
同步任務(wù)啟動時會從選擇的時間點開始消費SLS數(shù)據(jù)。
例如:投遞起始位點選擇為2024-04-09 13:10,系統(tǒng)則會從2024年4月9日13:10之后的第一條數(shù)據(jù)開始消費。
臟數(shù)據(jù)處理模式
同步數(shù)據(jù)時,若目標(biāo)表中的字段類型與源端實際同步的SLS數(shù)據(jù)類型不匹配,則會導(dǎo)致同步失敗。例如源端的數(shù)據(jù)是
abc
,而目標(biāo)表中的字段類型是int
,此時會因為無法轉(zhuǎn)換而導(dǎo)致同步異常。臟數(shù)據(jù)處理模式取值如下:
中斷同步(默認值):數(shù)據(jù)同步終止,您需修改目標(biāo)表的字段類型或修改為其他臟數(shù)據(jù)處理模式,再重啟同步任務(wù)。
按NULL處理:臟數(shù)據(jù)按NULL值寫入目標(biāo)表,并丟棄臟數(shù)據(jù)。
例如:SLS數(shù)據(jù)總共有10行,某一字段中有2行是臟數(shù)據(jù),則該2行數(shù)據(jù)轉(zhuǎn)為NULL值寫入,其他8行數(shù)據(jù)正常寫入。
Unix時間戳轉(zhuǎn)datetime
若SLS源字段是Unix時間戳(例如1710604800),而目標(biāo)字段類型是DATETIME或TIMESTAMP,需開啟此功能進行轉(zhuǎn)換。開啟后,您可根據(jù)SLS數(shù)據(jù)的時間戳精度選擇秒級精度時間戳、毫秒級精度時間戳和微秒級精度時間戳。
上述參數(shù)配置完成,單擊提交。
啟動數(shù)據(jù)同步任務(wù)
在數(shù)據(jù)同步頁面,選擇創(chuàng)建成功的數(shù)據(jù)同步任務(wù),在操作列單擊啟動。
單擊右上角查詢,狀態(tài)變?yōu)?/span>正在運行即數(shù)據(jù)同步任務(wù)啟動成功。
管理數(shù)據(jù)源
在數(shù)據(jù)同步頁面,您可以在操作列執(zhí)行以下操作。
操作按鈕 | 說明 |
啟動 | 啟動數(shù)據(jù)同步作業(yè)。 |
執(zhí)行詳情 | 查看數(shù)據(jù)同步作業(yè)的詳情,包括源和目的配置信息,運行日志以及運行監(jiān)控。 |
編輯 | 可以編輯作業(yè)的起始位點,字段映射等。 |
暫停 | 暫停數(shù)據(jù)同步作業(yè)。暫停后的作業(yè)可以再次點擊啟動恢復(fù)同步,恢復(fù)同步會自動從暫停時所處的位點繼續(xù)同步。 |
刪除 | 刪除數(shù)據(jù)同步作業(yè)。刪除后無法恢復(fù),請謹慎操作。 |