[發明專利]數據處理方法、裝置、設備及介質

在審

• 申請號: 202110349359.X
• 申請日: 2021-03-31
• 公開（公告）號: CN112948410A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 曹海儐;楊志勇
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22;G06F16/27;G06F16/2455
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數據處理方法，其特征在于，包括：

讀取消息中間件流式接收的至少一條數據變更消息；其中，每條所述數據變更消息攜帶對應的數據變更操作所屬的事務信息；

根據與目標事務對應的所有數據變更消息的相關數據，加工匹配的數據寬表；

根據所述數據寬表，對下游存儲系統進行數據同步。

2.根據權利要求1所述的方法，其特征在于，所述數據變更消息攜帶事務編號和事務消息總條數。

3.根據權利要求2所述的方法，其特征在于，在根據與目標事務對應的所有數據變更消息的相關數據，加工匹配的數據寬表之前，包括：

根據各條所述數據變更消息攜帶的事務編號和事務消息總條數，確定與所述目標事務對應的所有數據變更消息，并獲取所述所有數據變更消息的相關數據。

4.根據權利要求3所述的方法，其特征在于，在根據與目標事務對應的所有數據變更消息的相關數據，加工匹配的數據寬表之前，還包括：

確定與在所述目標事務之前的所有其他事務對應的所有數據變更消息均已向所述下游存儲系統同步。

5.根據權利要求3或4所述的方法，其特征在于，在所述讀取消息中間件流式接收的至少一條數據變更消息之前，還包括：

在數據庫中獲取已提交的數據變更操作，并根據每個所述數據變更操作生成一條數據變更消息，流式發送至所述消息中間件中。

6.根據權利要求5所述的方法，其特征在于，在所述讀取消息中間件流式接收的至少一條數據變更消息之后，還包括：

將所述至少一條數據變更消息的相關數據流式寫入目標數據庫。

7.根據權利要求6所述的方法，其特征在于，將所述至少一條數據變更消息流式寫入目標數據庫，包括：

在將所述至少一條數據變更消息的相關數據流式寫入目標數據庫時，將所述目標數據庫中數據表在同構的基礎上增加事務編號字段。

8.根據權利要求7所述的方法，其特征在于，在將所述至少一條數據變更消息的相關數據流式寫入目標數據庫之后，還包括：

將所述至少一條數據變更消息的消息特征流式寫入與所述目標數據庫對應的事務緩沖池；

其中，所述消息特征包括：事務編號、事務消息總條數、實體和消息主鍵。

9.根據權利要求8所述的方法，其特征在于，根據各條所述數據變更消息攜帶的事務編號和事務消息總條數，確定與所述目標事務對應的所有數據變更消息，并獲取所述所有數據變更消息的相關數據，包括：

根據所述事務緩沖池中記錄的所述數據變更消息的消息特征，確定與所述目標事務對應的所有數據變更消息；

根據所述數據變更消息的消息特征在所述目標數據庫中讀取所述所有數據變更消息的相關數據。

10.根據權利要求9所述的方法，其特征在于，所述消息特征還包括：時間戳和用于關聯數據主表的根消息主鍵。

11.根據權利要求8所述的方法，其特征在于，在根據所述數據寬表，對下游存儲系統進行數據同步之后，還包括：

將所述事務緩沖池中與所述目標事務對應的所有數據變更消息的消息特征刪除。

12.根據權利要求11所述的方法，其特征在于，確定與在所述目標事務之前的所有其他事務對應的所有數據變更消息均已被同步至所述下游存儲系統，包括：

若所述事務緩沖池記錄的消息特征中不包括在所述目標事務之前的所有其他事務的事務編號，則確定與在所述目標事務之前的所有其他事務對應的所有數據變更消息均已向所述下游存儲系統同步。