Highlight

• 終結分庫分表，系統彈性、靈活性大幅提升。

• 數據生命周期管理，降低存儲成本，提高運維效率。

• CDC實現雙機房容災部署，無需同步工具介入，RPO=0。

客戶簡介

韻達物流作為國內快遞行業第一梯隊的領軍企業之一，在全國擁有近5千個加盟商、超過3萬個門店網點，隨著公司在樞紐轉運中心、設備自動化智能化、運力運能提升。數字化信息化建設等核心資產方面的投入逐漸完善， 客戶管家便是其中的一個典型。

客戶管家已于今年年初正式上線，借助后臺強大的計算能力，以及以客戶體驗為中心的產品設計，得到用戶的一致好評，客戶管家是韻達物流提供的一站式、全新數字化管理工具，客戶管家系統從已攬收、運輸中、派件中、已簽收等多維度，對客戶發出快件進行全鏈路跟蹤和數據可視化展示，協助客戶實現對店鋪快件全流程的可視、可控，并提高運單管理效率。

業務挑戰

• 分庫分表帶來一系列約束

  韻達目前日增運單量超過數千萬，預計總量接近數百億，工單數據也接近數十億的量級。將這些信息存儲并進行關聯，才能為客戶提供豐富的業務服務 。按我們的以往的慣例會采用分庫分表方案 ，按照我們以往使用的經驗，我們后續將面臨擴容、運維管理、代碼侵入等一系列的問題。

• 海量數據怎么存

  按監管要求，我們需要保存數年的數據，面臨日增千萬的數據量，在任何一個數據庫哪怕是分布式數據庫內，也是一個極大的挑戰，即便我們的DBA可以定期地人肉備份，清理。絕大部分數據庫也不能及時地回收空間，需要DBA額外的介入，整個管理流程繁瑣且效率低下，還很容易影響系統的穩定性。

• 異地容災

  運單數據對物流公司的意義不亞于賬單數據對銀行的意義。核心業務按照要求需要有完整的異地容災方案，傳統分庫分表意味著每一個分庫就需要維護一條同步鏈路，管理的復雜度隨著分庫數的增加而指數級上漲，同時數據一致性和完整性也很難得到保證。

解決方案

• 一體分布式演進

  借助阿里云瑤池旗下的PolarDB分布式版和韻達成立的物流行業創新實驗室的機會，我們在這個項目中成功引入了PolarDB分布式版作為我們的核心數據庫。

  PolarDB分布式版通過一體化的分布式設計和一體化的運維管理方案，讓我們不再需要額外管理海量的MySQL實例。從維護多套轉變成維護一套，徹底擺脫了分庫分表帶來的運維困擾。

  同時與單機MySQL高度兼容的使用體驗，也大大解放了業務層的代碼設計，讓我們不再去顧慮之前傳統分庫分表給我們帶來的各種限制。更重要的一點，PolarDB分布式版提供的Binlog協議兼容，完美匹配了我們公司內部的數據同步方案，讓我們的體感更多的是我們只是引入了一個超級大的MySQL而已，原公司內部MySQL的周邊生態包括基于Binlog的上下游同步機制都被完整地繼承了下來。

• 數據生命周期管理

  TTL-數據的生命周期管理也是我們選擇PolarDB分布式版很重要的原因，運單數據有著明顯的時間周期屬性，通常1年內的數據對客戶是有意義的，太久遠的運單大部分情況不會被高頻地訪問。按照以往的做法，我們會定期將過期數據備份導出后原地進行刪除，由于MySQL的特性delete之后不會回收空間，還需要在業務低峰執行optimize回收空間。有多少套MySQL就需要重復多少次這樣的管理動作，DBA毫無幸福感可言。

  PolarDB分布式版提供了TTL功能，在建表時除了指定按照運單打散之外，還可以指定時間分區，并指定分區過期策略，數據庫自動將過期數據歸檔到OSS或是直接刪除，無需人為介入，自動管理，降低存儲成本：

  

  以我們真實的表結構為例，這里可以理解為是一個2級分區表，第一級分區是已運單號，第二級分區是時間，每個月一個分區，12個月后過期。到第13個月時，自動會將第1個月的數據進行detach后刪除處理。如果結合云上的數據歸檔功能一起用的話，PolarDB分布式版還可以幫我們把過期的數據detach之后自動轉儲到OSS上，我們隨時可以進行查詢操作，體驗與普通表一致，唯一的限制就是不能修改。而且整套動作內核自動完成，DBA只需要在建表時指定規則即可，DBA的幸福感瞬間爆棚。

• CDC實現異地容災

  

  因為我們拋棄了分庫分表的方案，借助PolarDB分布式版一體化的架構，異地容災的架構也相應地變得簡單，存儲節點提供的Paxos協議多副本能力，每個DN自行可以完成跨地域數據同步。然后我們又遇到了另一個現實問題，我們的備機房規格要比主機房規格相對較低一些，如果直接采用Paxos協議多副本同步方案，我們的備機房的資源略顯吃緊，就在我們打算放棄多副本方案采用canal雙向同步的時候，阿里云的同學為我們同步了PolarDB分布式版的另一個最新的能力，PolarDB分布式版可以通過CDC節點自行實現2個實例間的雙向同步，看起來就像兩個單機MySQL在通過Binlog同步一樣。這下我們的備機房資源不但節省了，連同步工具都不需要了。

  兩個獨立的PolarDB分布式版實例通過CDC即可實現單向或雙向的復制。 無需借助額外同步工具，且對兩邊實例的大小規格沒有限制，用戶可自行調配。

用戶價值

• 單實例支撐全量運單數據，QPS峰值突破10萬，RT穩定在5毫秒以下。

• 數據實現自動歸檔刪除，無需額外人力和成本投入。

• 內核實現跨地域容災，更加穩定可靠。

結語

繼打標業務投產成功之后，客戶管家是運行在PolarDB分布式版上的首個核心業務場景，自上線以來，PolarDB分布式版數據庫運行平穩，整體QPS峰值接近10萬，而SQL的響應時間穩定在5毫秒以內，很好地支撐了整個管家平臺的平穩運行。平穩的性能加上輕量的運維讓我們可以把更多的工作重心放在了業務設計上，大大提高了我們的業務迭代效率。我們也相信PolarDB分布式版憑借出色的分布式能力和極致的單機體驗，未來在物流行業的其他領域如軌跡、倉儲、物流等都會有它的一席之地。