[發明專利]數據同步方法、系統、電子設備及計算機可讀存儲介質

在審

• 申請號: 201811244243.4
• 申請日: 2018-10-24
• 公開（公告）號: CN109359139A
• 公開（公告）日: 2019-02-19
• 發明（設計）人: 張坤
• 申請（專利權）人: 拉扎斯網絡科技（上海）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06F9/50
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 劉真

1.一種數據同步方法，其特征在于，包括：

將數據庫中的數據發送至分布式發布訂閱消息的處理流程；

消費所述分布式發布訂閱消息處理流程中的數據并進行解析，得到解析數據；以及

按照預設過濾規則對所述解析數據進行過濾，得到過濾數據，將所述過濾數據存儲到存儲器中。

2.根據權利要求1所述的方法，其特征在于，在將數據庫中的數據發送至所述分布式發布訂閱消息的處理流程之前，包括：

初始化配置信息；

其中，配置信息包括：數據庫的連配置、分布式發布訂閱消息的配置信息、數據處理的參數信息、預設過濾規則、存儲器中表的結構信息。

3.根據權利要求1所述的方法，其特征在于，在所述將所述過濾數據存儲到存儲器中之后，還包括：

存儲消費所述分布式發布訂閱消息的處理流程中的數據的函數。

4.一種數據回溯方法，其特征在于，包括：

設置回溯數據表的參數，并根據所述參數獲取對應的偏移量；

根據所述對應的偏移量，消費分布式發布訂閱消息的處理流程中的數據并進行解析，得到解析數據；以及

按照預設過濾規則對所述解析數據進行過濾，得到過濾數據，將所述過濾數據存儲到存儲器中。

5.一種數據同步系統，其特征在于，包括：

發送模塊，被配置為將數據庫中數據發送至分布式發布訂閱消息的處理流程；

解析模塊，被配置為消費所述分布式發布訂閱消息的處理流程中的數據并進行解析，得到解析數據；

過濾模塊，被配置為按照預設過濾規則對所述解析數據進行過濾，得到過濾數據；

存儲模塊，被配置為將所述過濾數據存儲到存儲器中。

6.根據權利要求5所述的系統，其特征在于，還包括：

初始化模塊，被配置為初始化配置信息；

其中，配置信息包括：數據庫的連配置、分布式發布訂閱消息的配置信息、數據處理的參數信息、預設過濾規則、存儲器中表的結構信息。

7.根據權利要求5所述的系統，其特征在于，所述存儲模塊，被配置為存儲消費所述分布式發布訂閱消息的處理流程中的數據的函數。

8.一種數據回溯系統，其特征在于，包括：

設置模塊，被配置為設置回溯數據表的參數；

函數獲取模塊，被配置為根據所述參數，獲取對應的偏移量；

解析模塊，被配置為消費分布式發布訂閱消息的處理流程中的數據并進行解析，得到解析數據；

過濾模塊，被配置為按照預設過濾規則對所述解析數據進行過濾，得到過濾數據；

存儲模塊，被配置為將所述過濾數據存儲到存儲器中。

9.一種電子設備，其特征在于，包括存儲器和處理器；其中，

所述存儲器用于存儲一條或多條計算機指令，其中，所述一條或多條計算機指令被所述處理器執行以實現權利要求1-4任一項所述的方法步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機指令，其特征在于，該計算機指令被處理器執行時實現權利要求1-4任一項所述的方法步驟。