[發明專利]一種用于數據庫的同步和分析方法及系統

在審

• 申請號: 201911159233.5
• 申請日: 2019-11-22
• 公開（公告）號: CN111008244A
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 梁麗琴;鄭漢軍;許光鋒;鄭樂樂;鄭少明;黃惠海;林山
• 申請（專利權）人: 廈門安勝網絡科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/54
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 陳遠洋

1.一種用于數據庫的同步和分析方法，其特征在于，包括以下步驟：

S1：獲取MongoDB中的操作日志，解析獲取所述MongoDB的數據操作，其中所述操作日志中包括數據的新增、刪除和更新操作；

S2：響應于捕獲所述MongoDB的數據操作，將被操作的數據寫入Kafka消息隊列中；

S3：利用Bireme消費所述Kafka消息隊列中的更改記錄消息，將所述MongoDB的數據解析為目標數據源Greenplum中的插入和刪除語句，進而將所述數據同步更新至所述目標數據源Greenplum中；以及

S4：響應于所述Greenplum存儲通過Bireme同步的數據，利用sql進行數據的統計分析。

2.根據權利要求1所述的用于數據庫的同步和分析方法，其特征在于，所述MongoDB包括主節點和從節點，所述主節點中記錄有所述操作日志。

3.根據權利要求1或2所述的用于數據庫的同步和分析方法，其特征在于，所述步驟S1具體為利用Debezium平臺捕獲所述MongoDB中的數據實時動態變化，即所述操作日志。

4.根據權利要求1所述的用于數據庫的同步和分析方法，其特征在于，所述步驟S3具體為：配置Bireme，響應于所述目標數據源Greenplum的地址、用戶名和密碼與所述MongoDB中對應的地址、用戶名和密碼一致，將所述MongoDB中需要同步的數據同步至所述目標數據源Greenplum中。

5.根據權利要求1所述的用于數據庫的同步和分析方法，其特征在于，所述步驟S4還包括配置Quartz調度規則對所述Greenplum中利用sql進行數據的統計分析。

6.根據權利要求5所述的用于數據庫的同步和分析方法，其特征在于，所述調度規則為通過任務調度和/或按調度時間來進行調度作業。

7.根據權利要求5所述的用于數據庫的同步和分析方法，其特征在于，所述步驟S4中的統計分析包括多表關聯或單表的復雜統計分析。

8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被計算機處理器執行時實施權利要求1至7中任一項所述的方法。

9.一種用于數據庫的同步和分析系統，其特征在于，包括：

MongoDB解析單元：配置用于獲取MongoDB中的操作日志，解析獲取所述MongoDB的數據操作，其中所述操作日志中包括數據的新增、刪除和更新操作；

Kafka連接單元：配置用于響應于捕獲所述MongoDB的數據操作，將被操作的數據寫入Kafka消息隊列中；

數據同步單元：配置用于利用Bireme消費所述Kafka消息隊列中的更改記錄消息，將所述MongoDB的數據解析為目標數據源Greenplum中的插入和刪除語句，進而將所述數據同步更新至所述目標數據源Greenplum中；以及

數據分析單元：配置用于響應于所述Greenplum存儲通過Bireme同步的數據，利用sql進行數據的統計分析。

10.根據權利要求9所述的一種用于數據庫的同步和分析系統，其特征在于，還包括Quartz調度單元：配置用于配置Quartz調度規則對所述Greenplum中利用sql進行數據的統計分析。