核心能力

• 云原生分布式：LTS是一個基于ECS部署的分布式系統，具備良好的水平擴展能力，用戶可以按需進行資源配置。

• 簡單易用：LTS支持一鍵配置數據遷移、導入、訂閱、歸檔等任務。比如數據遷移任務，用戶只需要選擇源端、目的端和需要同步的列，LTS會自動完成schema復制、全量數據復制和增量數據復制。

• 安全可靠：LTS充分考慮對源端和目標端系統在線影響最小化，以及兼容可能出現的故障。在任務啟動前會有網絡聯通性、安全性等前置校驗，運行過程中會實時監控同步延遲、目標集群存儲水位等并有相關的限速和報警，任務結束后還會提供數據校驗。

• 低成本：LTS在HBase、Phoenix、Cassandra等開源系統上有深入的優化，提供物理文件級別的數據處理，比傳統的數據復制效率提高10倍。同時在CPU、緩存、內存、網絡IO上的整體優化使LTS提供一個高性價比的數據通道，減少客戶數據流轉、處理的成本。

功能列表

日志生命周期管理說明

• 開啟日志訂閱后，如果不消費數據，默認日志會保留48小時，超時后訂閱關系自動取消，保留的數據自動刪除。

• 什么場景會導致“不消費數據”：沒有終止任務的前提下直接釋放LTS集群，同步任務暫停。

• 使用日志訂閱的任務類型：HBase/Lindorm增量同步、數據歸檔、數據備份和數據訂閱。

典型場景

• 集群遷移

  • 使用范圍

    • HBase遷移Lindorm。

    • 集群網絡的切換，經典切換VPC。

    • 異地跨機房遷移。

    • 業務拆分。

  • 特點

    • 不停服數據遷移，同時搞定歷史數據遷移、實時增量數據的同步。

    • 遷移過程中不會和源集群的HBase、Lindorm交互，只讀取源集群的HDFS，盡可能減少對源集群在線業務的影響。

    • 文件層的數據拷貝比通常API層的數據遷移通常能節省50%以上的流量。

    • 高效性，單個節點遷移速度可達到100 MB/s，節點數支持水平擴展，能夠滿足支持TB、PB級別的數據遷移。

    • 穩定性，有完善的錯誤重試機制，實時監控任務速度和進度，支持任務失敗報警。

    • 正確性，能夠進行數據校驗。

    • 支持自動同步schema，保證分區一致。

• 在線離線業務分離

  通過LTS，將在線業務數據實時同步到HDFS或者OSS等存儲，結合Spark、MR等大數據組件進行數據分析，從而不影響在線業務的查詢。

• 主備容災

  通過LTS在主備集群之間實現實時數據的雙向同步，當主集群出現問題，可以切換到備集群，盡可能減少對業務產生的影響，當主集群服務恢復之后，通過LTS同步服務補齊主集群遺漏的數據。

• RDS歷史庫建設

  對于交易訂單等存儲場景，隨著數據量增大會對RDS造成性能壓力，周期性的歸檔數據或者分庫分表存在成本高、操作復雜等痛點。可以通過LTS將RDS數據實時同步到Lindorm寬表實現冷熱數據分離，Lindorm寬表提供自動水平擴展、高并發查詢、多維索引、輕量分析，Lindorm Streams提供變更數據有序訂閱，LTS還支持將Lindorm 寬表數據同步到其它分析系統進行復雜數據分析。