[發明專利]Redis-canal跨機房緩存同步系統

在審

• 申請號: 202011120648.4
• 申請日: 2020-10-19
• 公開（公告）號: CN112422628A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 錢宇煒;馬頌華;陳裕頲;黃嶠睿;任齡明;毛震鵬;吳振;嚴永峰
• 申請（專利權）人: 天翼電子商務有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了Redis?canal跨機房緩存同步系統，基于Redis的復制協議實現，使用PSYNC命令實時獲取Redis主節點所產生的寫命令，并通過同步系統將命令在目標端機房進行重放，整個系統分為三層：控制臺Apollo、節點發現和數據保留層ZK、數據同步層Redis?canal。本發明基于Redis的復制協議實現，使用PSYNC命令實時獲取Redis主節點所產生的寫命令，并通過同步系統將命令在目標端機房進行重放；基于Redis復制協議方案，進行改進和優化，解決以下3個問題：1.支持雙向同步；2.支持集群模式同步；3.支持同步系統的容災能力。

技術領域

本發明涉及互聯網系統中數據實時雙向同步技術領域，特別涉及 Redis-canal跨機房緩存同步系統。

背景技術

目前在互聯網系統架構中，異地多機房的部署方案正越來越多的應用在生產環境中，多機房的部署方案，會使數據源分散在各個機房中，因此讓機房間的數據實時同步，就顯得尤為重要。在Redis緩存多機房同步技術領域中，目前同類產品，有些不支持雙向同步，有些不支持Redis集群模式的同步，有些不支持同步系統的容災功能，這些缺點在生產環境的實際使用中都會產生一些限制。比如對于不支持Redis集群模式的數據同步產品，那生產環境只能使用Sentinel模式的Redis，那對業務使用方來說會非常不便。

發明內容

本發明要解決的技術問題是克服現有技術的缺陷，提供Redis-canal跨機房緩存同步系統，本發明基于Redis的復制協議實現，使用PSYNC命令實時獲取Redis主節點所產生的寫命令，并通過同步系統將命令在目標端機房進行重放；基于Redis復制協議方案，進行改進和優化，解決以下3個問題： 1.支持雙向同步；2.支持集群模式同步；3.支持同步系統的容災能力。

為了解決上述技術問題，本發明提供了如下的技術方案：

本發明Redis-canal跨機房緩存同步系統，基于Redis的復制協議實現，使用PSYNC命令實時獲取Redis主節點所產生的寫命令，并通過同步系統將命令在目標端機房進行重放，整個系統分為三層：控制臺Apollo、節點發現和數據保留層ZK、數據同步層Redis-canal，其中，控制臺Apollo負責任務配置、啟動及關閉任務，跨機房集群部署；ZK為各機房獨立部署，負責 Redis-Canal節點的注冊發現、任務調度及同步任務數據收集；Redis-Canal 是Redis同步任務的最終執行者，包括canal和sync兩個模塊；Canal負責監聽及解析redis節點命令；Sync負責redis命令跨機房寫入，并處理循環復制問題；所述Redis-canal是基于Redis的復制協議PSYNC命令進行開發的，通過將自己偽裝成Redis的一個SLAVE節點，從而監聽并獲得本機房中 MASTER節點的Redis的所有操作命令，最后把這些監聽到的命令在異地機房的Redis中進行重放，從而完成同步任務；并且通過優化重放算法，避免機房間出現循環復制的情況；PSYNC命令具有完整重同步和部分重同步兩種模式：

完整重同步用于處理初次復制情況：完整重同步的執行步驟和SYNC命令的執行步驟基本一樣，它們都是通過讓主服務器創建并發送RDB文件，以及向從服務器發送保存在緩沖區里面的寫命令來進行同步；

部分重同步則用于處理斷線后重復制情況：當從服務器在斷線后重新連接主服務器時，如果條件允許，主服務器可以將主從服務器連接斷開期間執行的寫命令發送給從服務器，從服務器只要接收并執行這些寫命令，就可以將數據庫更新至主服務器當前所處的狀態；

所述部分重同步功能由以下三個部分構成：

主服務器的復制偏移量和從服務器的復制偏移量；

主服務器的復制積壓緩沖區；

服務器的運行ID；

部分重同步功能中執行復制的雙方為主服務器和從服務器會分別維護一個復制偏移量：