[發明專利]數據處理方法、裝置、設備和存儲介質

有效

• 申請號: 202010133454.1
• 申請日: 2020-02-28
• 公開（公告）號: CN111414416B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 黃祥錚;李釗;萬書武;李均
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/242
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 徐進之

本發明公開了一種數據處理方法，包括以下步驟：在檢測到源數據庫數據更新時，采集源數據庫更新時的更新日志，解析更新日志提取更新日志中的更新數據；在更新數據為第一數據類型時，將更新數據添加到預設消息隊列中，通過流式數據引擎處理預設消息隊列中的更新數據得到標準數據，并將標準數據同步至第一數據庫；在更新數據為第二數據類型時，封裝更新數據并將封裝后的更新數據同步至內存中的第二數據庫；在接收到數據查詢請求時，獲取數據查詢請求對應的查詢語句，查詢第一數據庫或第二數據庫，獲取查詢語句對應的目標數據。本發明還公開了一種數據處理裝置、設備和存儲介質。本發明實現了完整實時地數據同步。

技術領域

本發明涉及數據處理領域，尤其涉及數據處理方法、裝置、設備和存儲介質。

背景技術

隨著大數據技術的發展，業務平臺越來越多各個業務平臺都有各自的業務數據，為了統一管理各個業務平臺產生的業務數據，需要進行業務數據的同步。

當前數據同步主要采用以下兩種方式：方式一固定周期(例如，每天凌晨)對源數據庫進行數據同步，這樣的數據同步方法存在滯后性，用戶不可以實時地查詢到更新數據；方式二通過高頻度查詢源數據庫來進行數據同步，這種方式對源數據庫侵入性較高，只能識別增量數據，檢測不到刪除與更新數據，數據完整性達不到需求。

發明內容

本發明的主要目的在于提供一種數據處理方法、裝置、設備和存儲介質，旨在解決當前數據同步時完整性和實時性不兼顧的技術問題。

為實現上述目的，本發明提供數據處理方法，所述數據處理方法包括以下步驟：

在檢測到源數據庫數據更新時，采集源數據庫更新時的更新日志，解析所述更新日志提取所述更新日志中的更新數據；

在所述更新數據為第一數據類型時，將所述更新數據添加到預設消息隊列中，通過流式數據引擎處理所述預設消息隊列中的更新數據得到標準數據，并將所述標準數據同步至第一數據庫；

在所述更新數據為第二數據類型時，封裝所述更新數據并將封裝后的更新數據同步至內存中的第二數據庫；

在接收到數據查詢請求時，獲取所述數據查詢請求對應的查詢語句，查詢所述第一數據庫或所述第二數據庫，獲取所述查詢語句對應的目標數據。

在一實施例中，所述在檢測到源數據庫數據更新時，采集源數據庫更新時的更新日志，解析所述更新日志提取所述更新日志中的更新數據的步驟之前，包括：

在接收到源數據庫監控指令時，將所述源數據庫監控指令發送至預設數據采集器，以使所述預設數據采集器啟動并注冊源數據庫對應的監控實例；

通過所述監控實例采集源數據庫操作指令，將所述源數據庫操作指令添加至預設日志模板，生成更新日志。

在一實施例中，所述在接收到數據查詢請求時，獲取所述數據查詢請求對應的查詢語句，查詢所述第一數據庫或所述第二數據庫，獲取所述查詢語句對應的目標數據的步驟，包括：

在接收到數據查詢請求時，獲取所述數據查詢請求對應的查詢語句，及所述查詢語句中的數據類型；

在所述數據類型為第一數據類型時，查詢所述第一數據庫獲取所述查詢語句對應的第一目標數據；

在所述數據類型為第二數據類型時，查詢所述第二數據庫獲取所述查詢語句對應的第二目標數據。

在一實施例中，所述在所述更新數據為第二數據類型時，封裝所述更新數據并將封裝后的更新數據同步至內存中的第二數據庫的步驟之后，包括：

提取所述第二數據庫中預設時間間隔之前產生的更新數據，將所述更新數據輸入至預設消息隊列中；

調用流式計算引擎對所述預設消息隊列中的所述更新數據進行處理，得到分布式數據流；