[發明專利]分布式數據庫同步處理的方法和裝置

有效

• 申請號: 201610716743.8
• 申請日: 2016-08-24
• 公開（公告）號: CN107783975B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 王英杰;丁瓊;周寧;匙凱明
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

1.一種分布式數據庫同步處理的方法，其特征在于，多個業務系統獨立地操作所述數據庫，每個業務系統對應一個監聽機構、一個數據變更日志、一個同步消息隊列和一個消息消費者，所述方法包括：

每個所述監聽機構監聽對應的業務系統的數據變更日志，并且當監聽到所述數據變更日志發生變更時，抓取對應的業務系統的數據變更日志并解析，路由數據變更日志的來源，并提取生成消息體需要的報文參數信息以根據該變更生成數據同步消息，并且根據所述數據變更日志的來源把該數據同步消息置于對應的業務系統的同步消息隊列；

每個所述消息消費者從對應的業務系統的同步消息隊列中獲取數據同步消息，根據所述數據同步消息獲得待同步數據，并且把所述待同步數據加載到搜索引擎；如果所述搜索引擎出現同步異常的情況，則通過插入數據庫同步任務的方式，使得通過Java定時任務來異步執行數據信息的同步。

2.根據權利要求1所述的方法，其特征在于，所述搜索引擎是ElasticSearch。

3.根據權利要求1所述的方法，其特征在于，每個所述監聽機構監聽對應的業務系統的數據變更日志之前，還包括：

在數據庫安裝的時候開啟日志寫入功能；以及

設置所述監聽機構對所述數據庫的訪問權限。

4.根據權利要求1所述的方法，其特征在于，所述數據同步消息包括：發生變更的數據表名、數據表主鍵、分庫分表的字段信息及字段值。

5.根據權利要求1所述的方法，其特征在于，根據所述數據同步消息獲得待同步數據的步驟包括：

判定所述數據同步消息的消息體報文是否有效；并且

當有效時，根據所述消息體的數據表名獲取數據同步處理邏輯，并且根據所述數據同步消息的消息體中的數據表主鍵查詢所述待同步數據。

6.根據權利要求1所述的方法，其特征在于，所述監聽機構是基于Zookeeper實現的集群服務。

7.一種分布式數據庫同步處理的裝置，其特征在于，多個業務系統獨立地操作所述數據庫，每個業務系統對應一個監聽機構、一個數據變更日志、一個同步消息隊列和一個消息消費者，所述裝置包括：

業務解耦模塊，用于每個所述監聽機構監聽對應的業務系統的數據變更日志，并且當監聽到所述數據變更日志發生變更時，抓取對應的業務系統的數據變更日志并解析，路由數據變更日志的來源，并提取生成消息體需要的報文參數信息以根據該變更生成數據同步消息，并且根據所述數據變更日志的來源把該數據同步消息置于對應的業務系統的同步消息隊列；

數據同步模塊，用于每個消息消費者從對應的所述業務系統的同步消息隊列中獲取數據同步消息，根據所述數據同步消息獲得待同步數據，并且把所述待同步數據加載到搜索引擎；如果所述搜索引擎出現同步異常的情況，則通過插入數據庫同步任務的方式，使得通過Java定時任務來異步執行數據信息的同步。

8.根據權利要求7所述的裝置，其特征在于，所述搜索引擎是ElasticSearch。

9.根據權利要求7所述的裝置，其特征在于，所述業務解耦模塊在每個所述監聽機構監聽對應的業務系統的數據變更日志之前，還用于：

在數據庫安裝的時候開啟日志寫入功能；以及

設置所述監聽機構對所述數據庫的訪問權限。

10.根據權利要求7所述的裝置，其特征在于，所述數據同步消息包括：

發生變更的數據表名、數據表主鍵、分庫分表的字段信息及字段值。

11.根據權利要求7所述的裝置，其特征在于，所述數據同步模塊還用于：

判定所述數據同步消息的消息體報文是否有效；并且

當有效時，根據所述消息體的數據表名獲取數據同步處理邏輯，并且根據所述數據同步消息的消息體中的數據表主鍵查詢所述待同步數據。