前提條件

• AnalyticDB for MySQL集群的產(chǎn)品系列為企業(yè)版或湖倉版。

• AnalyticDB for MySQL集群與日志服務(wù)SLS的Project和Logstore位于同一地域。具體操作，請參見創(chuàng)建集群和快速入門。

• 已在AnalyticDB for MySQL集群中創(chuàng)建Job型資源組。具體操作，請參見新建資源組。

• 已創(chuàng)建AnalyticDB for MySQL集群的數(shù)據(jù)庫賬號(hào)。

  • 如果是通過阿里云賬號(hào)訪問，只需創(chuàng)建高權(quán)限賬號(hào)。具體操作，請參見創(chuàng)建高權(quán)限賬號(hào)。

  • 如果是通過RAM用戶訪問，需要?jiǎng)?chuàng)建高權(quán)限賬號(hào)和普通賬號(hào)并且將RAM用戶綁定到普通賬號(hào)上。具體操作，請參見創(chuàng)建數(shù)據(jù)庫賬號(hào)和綁定或解綁RAM用戶與數(shù)據(jù)庫賬號(hào)。

• AnalyticDB for MySQL集群中已創(chuàng)建目標(biāo)庫表。具體操作，請參見CREATE TABLE。

注意事項(xiàng)

目前AnalyticDB for MySQL集群中的一張表僅支持同步日志服務(wù)中的一個(gè)Logstore。若您需要同步多個(gè)Logstore，請創(chuàng)建多個(gè)數(shù)據(jù)表。

費(fèi)用說明

該功能目前在免費(fèi)公測中，公測結(jié)束時(shí)間為2024年5月30日，公測期間內(nèi)，通過數(shù)據(jù)同步功能同步SLS數(shù)據(jù)時(shí)不收取費(fèi)用。

使用流程

• 步驟一：配置RAM授權(quán)（可選）。

• 步驟二：新建數(shù)據(jù)源。

• 步驟三：創(chuàng)建同步鏈路。

• 步驟四：啟動(dòng)數(shù)據(jù)同步任務(wù)。

• 步驟五：管理數(shù)據(jù)源。

配置RAM授權(quán)（可選）

跨賬號(hào)同步SLS數(shù)據(jù)到AnalyticDB for MySQL時(shí)，您需要在源端創(chuàng)建RAM角色，并為RAM角色精確授權(quán)、修改RAM角色的信任策略。

1. 創(chuàng)建RAM角色。具體操作，請參見創(chuàng)建可信實(shí)體為阿里云賬號(hào)的RAM角色。

   說明

   配置選擇信任的云賬號(hào)參數(shù)時(shí)，選擇其他云賬號(hào)，填寫AnalyticDB for MySQL集群所屬的阿里云賬號(hào)ID。您可以登錄賬號(hào)中心，在概覽頁面查看賬號(hào)ID。

2. 通過精確授權(quán)，為RAM角色授予AliyunAnalyticDBAccessingLogRolePolicy權(quán)限。具體操作，請參見為RAM角色精確授權(quán)。

3. 修改RAM角色的信任策略，允許指定阿里云賬號(hào)下的AnalyticDB for MySQL集群可以扮演該RAM角色。具體操作，請參見修改RAM角色的信任策略。

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "RAM": [
               "acs:ram::<阿里云賬號(hào)ID>:root"
           ],
           "Service": [
               "<阿里云賬號(hào)ID>@ads.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

   說明

   阿里云賬號(hào)ID為步驟1中填寫的AnalyticDB for MySQL集群所屬的阿里云賬號(hào)ID，配置時(shí)無需填寫尖括號(hào)（<>）。

新建數(shù)據(jù)源

1. 登錄云原生數(shù)據(jù)倉庫AnalyticDB MySQL控制臺(tái)，在左上角選擇集群所在地域。在左側(cè)導(dǎo)航欄，單擊集群列表，在企業(yè)版或湖倉版頁簽下，單擊目標(biāo)集群ID。

2. 在左側(cè)導(dǎo)航欄，單擊數(shù)據(jù)接入>數(shù)據(jù)源管理。

3. 單擊右上角新建數(shù)據(jù)源。

4. 在新建數(shù)據(jù)源頁面進(jìn)行參數(shù)配置。參數(shù)說明如下表所示：

   參數(shù)名稱	參數(shù)說明
   數(shù)據(jù)源類型	選擇數(shù)據(jù)源類型SLS。
   數(shù)據(jù)源名稱	系統(tǒng)默認(rèn)按數(shù)據(jù)源類型與當(dāng)前時(shí)間生成名稱，可按需修改。
   數(shù)據(jù)源描述	數(shù)據(jù)源備注描述，例如應(yīng)用場景、應(yīng)用業(yè)務(wù)限制等。
   部署模式	目前僅支持阿里云實(shí)例。
   SLS Project所在地域	SLS Project所在地域。 SLS Project所在地域。 說明 目前僅支持選擇AnalyticDB for MySQL集群所在地域。
   是否跨阿里云主賬號(hào)	AnalyticDB for MySQL集群支持同步相同阿里云賬號(hào)或其他阿里云賬號(hào)（跨賬號(hào)）的SLS數(shù)據(jù)。 不跨賬號(hào)：同步當(dāng)前阿里云賬號(hào)下的SLS數(shù)據(jù)到AnalyticDB for MySQL集群。 跨賬號(hào)：同步其他阿里云賬號(hào)下的SLS數(shù)據(jù)到AnalyticDB for MySQL集群。選擇跨賬號(hào)同步數(shù)據(jù)時(shí)，您需要配置RAM授權(quán)，并填寫跨阿里云主賬號(hào)和跨阿里云主賬號(hào)角色名。配置RAM授權(quán)的具體操作，請參見配置RAM授權(quán)。 說明 跨阿里云主賬號(hào)：SLS Project所屬的阿里云賬號(hào)ID。 跨阿里云主賬號(hào)角色名：SLS Project所屬阿里云賬號(hào)下的RAM角色。即配置RAM授權(quán)步驟1創(chuàng)建的RAM角色。
   SLS Project	源端SLS的Project。
   SLS Logstore	源端SLS的Logstore。

5. 參數(shù)配置完成后，單擊創(chuàng)建。

創(chuàng)建同步鏈路

1. 在左側(cè)導(dǎo)航欄，單擊SLS/Kafka數(shù)據(jù)同步。

2. 在右上角，單擊新建同步鏈路。

3. 在新建同步鏈路頁面，配置數(shù)據(jù)源及目標(biāo)端配置、目標(biāo)庫表配置和同步配置，參數(shù)說明如下表：

   • 數(shù)據(jù)源及目標(biāo)端配置的參數(shù)說明如下：

     參數(shù)名稱	參數(shù)說明
     數(shù)據(jù)鏈路名稱	數(shù)據(jù)鏈路名稱。系統(tǒng)默認(rèn)按數(shù)據(jù)源類型與當(dāng)前時(shí)間生成名稱，可按需修改。
     數(shù)據(jù)源	選擇已有的SLS數(shù)據(jù)源，也可新建數(shù)據(jù)源。 選擇已有的SLS數(shù)據(jù)源，也可新建數(shù)據(jù)源。
     目標(biāo)端類型	選擇數(shù)倉-ADB存儲(chǔ)。
     ADB賬號(hào)	AnalyticDB for MySQL集群的數(shù)據(jù)庫賬號(hào)。
     ADB密碼	AnalyticDB for MySQL集群數(shù)據(jù)庫賬號(hào)的密碼。

   • 目標(biāo)庫表配置的參數(shù)說明如下：

     參數(shù)名稱	參數(shù)說明
     庫名	AnalyticDB for MySQL集群的數(shù)據(jù)庫名稱。
     表名	AnalyticDB for MySQL集群的數(shù)據(jù)表名稱。
     源端數(shù)據(jù)預(yù)覽	單擊點(diǎn)擊查看最近10條LogStore數(shù)據(jù)，可以查看源端SLS的10條數(shù)據(jù)。
     Schema字段映射	AnalyticDB for MySQL集群表的字段自動(dòng)填充目標(biāo)字段和源字段。如果目標(biāo)字段與源字段的映射關(guān)系不正確，請手動(dòng)修改。 例如：AnalyticDB for MySQL集群數(shù)據(jù)表的字段名為name，源端SLS數(shù)據(jù)字段名為user_name，系統(tǒng)會(huì)自動(dòng)以name填充源字段和目標(biāo)字段，此時(shí)您需要手動(dòng)修改源字段為user_name。

   • 同步配置的參數(shù)說明如下：

     參數(shù)名稱	參數(shù)說明
     投遞起始位點(diǎn)	同步任務(wù)啟動(dòng)時(shí)會(huì)從選擇的時(shí)間點(diǎn)開始消費(fèi)SLS數(shù)據(jù)。 例如：投遞起始位點(diǎn)選擇為2024-04-09 13:10，系統(tǒng)則會(huì)從2024年4月9日13:10之后的第一條數(shù)據(jù)開始消費(fèi)。
     臟數(shù)據(jù)處理模式	同步數(shù)據(jù)時(shí)，若目標(biāo)表中的字段類型與源端實(shí)際同步的SLS數(shù)據(jù)類型不匹配，則會(huì)導(dǎo)致同步失敗。例如源端的數(shù)據(jù)是abc，而目標(biāo)表中的字段類型是int，此時(shí)會(huì)因?yàn)闊o法轉(zhuǎn)換而導(dǎo)致同步異常。 臟數(shù)據(jù)處理模式取值如下： 中斷同步（默認(rèn)值）：數(shù)據(jù)同步終止，您需修改目標(biāo)表的字段類型或修改為其他臟數(shù)據(jù)處理模式，再重啟同步任務(wù)。 按NULL處理：臟數(shù)據(jù)按NULL值寫入目標(biāo)表，并丟棄臟數(shù)據(jù)。 例如：SLS數(shù)據(jù)總共有10行，某一字段中有2行是臟數(shù)據(jù)，則該2行數(shù)據(jù)轉(zhuǎn)為NULL值寫入，其他8行數(shù)據(jù)正常寫入。
     Unix時(shí)間戳轉(zhuǎn)datetime	若SLS源字段是Unix時(shí)間戳（例如1710604800），而目標(biāo)字段類型是DATETIME或TIMESTAMP，需開啟此功能進(jìn)行轉(zhuǎn)換。開啟后，您可根據(jù)SLS數(shù)據(jù)的時(shí)間戳精度選擇秒級(jí)精度時(shí)間戳、毫秒級(jí)精度時(shí)間戳和微秒級(jí)精度時(shí)間戳。

4. 上述參數(shù)配置完成，單擊提交。

啟動(dòng)數(shù)據(jù)同步任務(wù)

1. 在數(shù)據(jù)同步頁面，選擇創(chuàng)建成功的數(shù)據(jù)同步任務(wù)，在操作列單擊啟動(dòng)。

2. 單擊右上角查詢，狀態(tài)變?yōu)?/span>正在運(yùn)行即數(shù)據(jù)同步任務(wù)啟動(dòng)成功。

管理數(shù)據(jù)源

在數(shù)據(jù)同步頁面，您可以在操作列執(zhí)行以下操作。