原理

功能特點

• 通過Binlog增量采集數據庫的更新操作數據，性能優越。支持RDS等MySQL協議的數據庫。

• 支持多種數據庫過濾方式。

• 支持設置Binlog位點。

• 支持通過Checkpoint機制同步保存狀態。

使用限制

• Logtail 1.0.31及以上版本支持采集MySQL 8.0的Binlog。

• MySQL必須開啟Binlog，且Binlog必須為row模式（RDS默認已開啟Binlog）。

  # 查看是否開啟Binlog
  mysql> show variables like "log_bin";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | log_bin       | ON    |
  +---------------+-------+
  1 row in set (0.02 sec)
  # 查看Binlog類型
  mysql> show variables like "binlog_format";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | binlog_format | ROW   |
  +---------------+-------+
  1 row in set (0.03 sec)

• ServerID唯一，即需要同步的MySQL的Slave ID唯一。

• RDS限制

  • 無法直接在RDS服務器上安裝Logtail，您需要將Logtail安裝在能連通RDS實例的服務器上。

  • RDS備庫不支持Binlog采集，您需要配置RDS主庫進行采集。

• 包括數據庫版本升級、表結構變更、磁盤變更等操作，可能造成數據同步中斷。如遇此場景，可嘗試刪除logtail的checkpoint目錄后，重啟logtail。如果問題仍然存在，推薦您使用DataWorks或Flink進行采集。checkpoint目錄位置默認為/etc/ilogtail/checkpoint。

應用場景

注意事項

建議您適當放開對Logtail的資源限制以應對流量突增等情況，避免Logtail因為資源超限被強制重啟，對您的數據造成不必要的風險。

您可以通過/usr/local/ilogtail/ilogtail_config.json文件修改相關參數。更多信息，請參見設置Logtail啟動參數。

{
    ...
    "cpu_usage_limit":2,
    "mem_usage_limit":2048,

    ...
}

數據可靠性

創建Logtail配置

1. 登錄日志服務控制臺。

2. 在接入數據區域，選擇MySQL BinLog-插件。

3. 選擇目標Project和Logstore，單擊下一步。
4. 創建機器組。
   • 如果您已有可用的機器組，請單擊使用現有機器組。
   • 如果您還沒有可用的機器組，請執行以下操作（以ECS為例）。
     1. 在ECS機器頁簽中，通過手動選擇實例方式選擇目標ECS實例，單擊創建。

        具體操作，請參見安裝Logtail（ECS實例）。

        重要 如果您的服務器是與日志服務屬于不同賬號的ECS、其他云廠商的服務器和自建IDC時，您需要手動安裝Logtail。更多信息，請參見安裝Logtail（Linux系統）或安裝Logtail（Windows系統）。

        手動安裝Logtail后，您必須在該服務器上手動配置用戶標識。具體操作，請參見配置用戶標識。

     2. 安裝完成后，單擊確認安裝完畢。
     3. 在創建機器組頁面，輸入名稱，單擊下一步。

        日志服務支持創建IP地址機器組和用戶自定義標識機器組，詳細參數說明請參見創建IP地址機器組和創建用戶自定義標識機器組。

5. 確認目標機器組已在應用機器組區域，單擊下一步。

   重要

   創建機器組后立刻應用，可能因為連接未生效，導致心跳為FAIL，您可單擊自動重試。如果還未解決，請參見Logtail機器組無心跳進行排查。

6. 設置數據源，然后單擊下一步。

   您可以通過表單配置方式或JSON配置方式完成數據源設置。更多信息，請參見Logtail配置詳情。

7. 預覽數據及創建索引，然后單擊下一步。
   日志服務默認開啟全文索引。您也可以根據采集到的日志，手動創建字段索引，或者單擊自動生成索引，日志服務將自動生成字段索引。更多信息，請參見創建索引。

   重要 如果您要查詢和分析日志，那么全文索引和字段索引必須至少啟用一種。同時啟用時，以字段索引為準。
8. 單擊查詢日志，系統將跳轉至Logstore查詢分析頁面。
   您需要等待1分鐘左右，待索引生效后，才能在原始日志頁簽中，查看已采集到的日志。更多信息，請參見查詢和分析日志。

Logtail配置詳情

您可以通過表單配置方式或JSON配置方式完成數據源設置。

修改本地配置

如果您沒有在插件配置中輸入真實的Host、User、Password等信息，可以在插件配置下發到本地后進行手動修改。

1. 登錄Logtail所在服務器。

2. 打開/usr/local/ilogtail/user_log_config.json文件，找到service_canal關鍵字，修改Host、User、Password等字段。

3. 執行以下命令重啟Logtail。

   sudo /etc/init.d/ilogtaild stop; sudo /etc/init.d/ilogtaild start

問題排查

使用Logtail采集日志后，如果預覽頁面或查詢頁面無數據，您可以參見Logtail采集日志失敗的排查思路進行排查。

數據庫表和日志樣例

例如對user_info數據庫下的specialalarm表分別執行INSERT、UPDATE、DELETE操作，對應的數據庫表結構、數據庫操作及日志樣例如下所示。

• 表結構樣例

  CREATE TABLE `specialalarm` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `time` datetime NOT NULL,
  `alarmtype` varchar(64) NOT NULL,
  `ip` varchar(16) NOT NULL,
  `count` int(11) unsigned NOT NULL,
  PRIMARY KEY (`id`),
  KEY `time` (`time`) USING BTREE,
  KEY `alarmtype` (`alarmtype`) USING BTREE
  ) ENGINE=MyISAM AUTO_INCREMENT=1;

• 數據庫操作

  執行INSERT、DELETE和UPDATE三種操作。

  insert into specialalarm (`time`, `alarmType`, `ip`, `count`) values(now(), "NO_ALARM", "10.10.**.***", 55);
  delete from specialalarm where id = 4829235  ;
  update specialalarm set ip = "10.11.***.**" where id = "4829234";

  為zc.specialalarm創建一個索引。

  ALTER TABLE `zc`.`specialalarm` 
  ADD INDEX `time_index` (`time` ASC);

• 日志樣例

  在查詢分析頁面，查看每種操作對應的日志，日志樣例如下所示。

  • INSERT語句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu*****  
    __topic__:    
    _db_:  zc  
    _event_:  row_insert  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:536  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  113  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829235  
    ip:  10.10.***.***  
    time:  2017-11-01 12:31:41

  • DELETE語句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****
    __topic__:    
    _db_:  zc  
    _event_:  row_delete  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:537  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  114  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829235  
    ip:  10.10.**.***
    time:  2017-11-01 12:31:41

  • UPDATE語句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****  
    __topic__:    
    _db_:  zc  
    _event_:  row_update  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:538  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  115  
    _old_alarmtype:  NO_ALARM  
    _old_count:  55  
    _old_id:  4829234  
    _old_ip:  10.10.22.133  
    _old_time:  2017-10-31 12:04:54  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829234  
    ip:  10.11.***.***
    time:  2017-10-31 12:04:54

  • DDL（data definition language）語句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****  
    __topic__:    
    _db_:  zc  
    _event_:  row_update  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:539  
    _host_:  *********.mysql.rds.aliyuncs.com  
    ErrorCode:  0
    ExecutionTime:  0
    Query:  ALTER TABLE `zc`.`specialalarm` 
    ADD INDEX `time_index` (`time` ASC)
    StatusVars:

  字段	說明
  _host_	數據庫host名稱。
  _db_	數據庫名稱。
  _table_	表的名稱。
  _event_	事件類型。
  _id_	本次采集的自增ID，從0開始，每次采集一個binlog事件后加1。
  _gtid_	全局事務ID。
  _filename_	Binlog文件名。
  _offset_	Binlog文件大小偏移量，該值只會在每次commit后更新。