[發明專利]數據處理方法、裝置、設備及介質

在審

• 申請號: 202110349359.X
• 申請日: 2021-03-31
• 公開（公告）號: CN112948410A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 曹海儐;楊志勇
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22;G06F16/27;G06F16/2455
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種數據處理方法、裝置、設備及介質，涉及自動程序設計技術領域。該方法包括：讀取消息中間件流式接收的至少一條數據變更消息；其中，每條所述數據變更消息攜帶對應的數據變更操作所屬的事務信息；根據與目標事務對應的所有數據變更消息的相關數據，加工匹配的數據寬表；根據所述數據寬表，對下游存儲系統進行數據同步。上述技術方案以數據庫變更操作所屬的事務為粒度處理在數據庫中捕獲到的變更數據，使下游存儲系統中不會出現數據部分更新部分未更新的情況，時刻保證了下游存儲系統的數據一致性。

技術領域

本發明實施例涉及自動程序設計技術領域，尤其涉及一種數據處理方法、裝置、設備及介質。

背景技術

在流式數據處理中，通常會使用CDC(Change Data Capture，變更數據捕獲)從數據庫中獲取已提交的變更數據，并將這些變更數據發送到下游存儲系統中，以供下游存儲系統使用。

數據庫中前后多條變更數據之間通常存在關聯性，但由于現有技術中每條變更數據是單獨發送到下游存儲系統中的，故在這多條變更數據還未完全實現同步時下游存儲系統中會出現數據部分更新部分未更新的情況，進而導致在某些時刻下游存儲系統中會存在數據不一致的問題。

發明內容

本發明實施例提供一種數據處理方法、裝置、設備及介質，以時刻保證下游存儲系統的數據一致性。

第一方面，本發明實施例提供了一種數據處理方法，包括：

讀取消息中間件流式接收的至少一條數據變更消息；其中，每條所述數據變更消息攜帶對應的數據變更操作所屬的事務信息；

根據與目標事務對應的所有數據變更消息的相關數據，加工匹配的數據寬表；

根據所述數據寬表，對下游存儲系統進行數據同步。

第二方面，本發明實施例還提供了一種數據處理裝置，包括：

數據變更消息讀取模塊，用于讀取消息中間件流式接收的至少一條數據變更消息；其中，每條所述數據變更消息攜帶對應的數據變更操作所屬的事務信息；

數據寬表加工模塊，用于根據與目標事務對應的所有數據變更消息的相關數據，加工匹配的數據寬表；

數據同步模塊，用于根據所述數據寬表，對下游存儲系統進行數據同步。

第三方面，本發明實施例還提供了一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如本發明任意實施例所述的數據處理方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明任意實施例所述的數據處理方法。

本發明實施例提供的技術方案，根據與目標事務對應的所有變更數據加工數據寬表，進而根據數據寬表對下游數據存儲系統進行數據同步，也即以數據庫變更操作所屬的事務為粒度處理在數據庫中捕獲到的變更數據，使下游存儲系統中不會出現數據部分更新部分未更新的情況，時刻保證了下游存儲系統的數據一致性。

附圖說明

圖1是本發明實施例一中的一種數據處理方法的流程圖；

圖2是本發明實施例二中的一種數據處理方法的流程圖；

圖3是本發明實施例三中的一種數據處理裝置的結構示意圖；

圖4是本發明實施例四中的一種計算機設備的硬件結構示意圖。

具體實施方式

下面結合附圖和實施例對本發明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本發明，而非對本發明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發明相關的部分而非全部結構。