[發明專利]數據處理方法、裝置、設備和存儲介質

有效

• 申請號: 202010133454.1
• 申請日: 2020-02-28
• 公開（公告）號: CN111414416B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 黃祥錚;李釗;萬書武;李均
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/242
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 徐進之

1.一種數據處理方法，其特征在于，所述數據處理方法包括以下步驟：

在檢測到源數據庫數據更新時，采集源數據庫更新時的更新日志，解析所述更新日志提取所述更新日志中的更新數據；

在所述更新數據為第一數據類型時，將所述更新數據添加到預設消息隊列中，通過流式數據引擎處理所述預設消息隊列中的更新數據得到標準數據，并將所述標準數據同步至第一數據庫；

在所述更新數據為第二數據類型時，封裝所述更新數據并將封裝后的更新數據同步至內存中的第二數據庫；

在接收到數據查詢請求時，獲取所述數據查詢請求對應的查詢語句，查詢所述第一數據庫或所述第二數據庫，獲取所述查詢語句對應的目標數據。

2.如權利要求1所述的數據處理方法，其特征在于，所述在檢測到源數據庫數據更新時，采集源數據庫更新時的更新日志，解析所述更新日志提取所述更新日志中的更新數據的步驟之前，包括：

在接收到源數據庫監控指令時，將所述源數據庫監控指令發送至預設數據采集器，以使所述預設數據采集器啟動并注冊源數據庫對應的監控實例；

通過所述監控實例采集源數據庫操作指令，將所述源數據庫操作指令添加至預設日志模板，生成更新日志。

3.如權利要求1所述的數據處理方法，其特征在于，所述在接收到數據查詢請求時，獲取所述數據查詢請求對應的查詢語句，查詢所述第一數據庫或所述第二數據庫，獲取所述查詢語句對應的目標數據的步驟，包括：

在接收到數據查詢請求時，獲取所述數據查詢請求對應的查詢語句，及所述查詢語句中的數據類型；

在所述數據類型為第一數據類型時，查詢所述第一數據庫獲取所述查詢語句對應的第一目標數據；

在所述數據類型為第二數據類型時，查詢所述第二數據庫獲取所述查詢語句對應的第二目標數據。

4.如權利要求1所述的數據處理方法，其特征在于，所述在所述更新數據為第二數據類型時，封裝所述更新數據并將封裝后的更新數據同步至內存中的第二數據庫的步驟之后，包括：

提取所述第二數據庫中預設時間間隔之前產生的更新數據，將所述更新數據輸入至預設消息隊列中；

調用流式計算引擎對所述預設消息隊列中的所述更新數據進行處理，得到分布式數據流；

將處理后的分布式數據流中的標準數據同步至第一數據庫。

5.如權利要求4所述的數據處理方法，其特征在于，所述在接收到數據查詢請求時，獲取所述數據查詢請求對應的查詢語句，查詢所述第一數據庫或所述第二數據庫，獲取所述查詢語句對應的目標數據的步驟，包括：

在接收到數據查詢請求時，獲取所述數據查詢請求對應的查詢語句，及所述查詢語句中的數據類型；

在所述數據類型為第一數據類型時，查詢所述第一數據庫獲取所述查詢語句對應的第一目標數據；

在所述數據類型為第二數據類型時，獲取所述查詢語句中的數據更新時間，若所述數據更新時間在所述預設時間間隔之前，則查詢所述第一數據庫獲取所述查詢語句對應的第二目標數據，若所述數據更新時間在所述預設時間間隔之后，則查詢所述第二數據庫獲取所述查詢語句對應的第二目標數據。

6.如權利要求1-5任意一項所述的數據處理方法，其特征在于，所述在檢測到源數據庫數據更新時，采集源數據庫更新時的更新日志，解析所述更新日志提取所述更新日志中的更新數據的步驟，包括：

在檢測到源數據庫數據更新時，采集源數據庫更新時的更新日志，解析所述更新日志獲得所述更新日志中的源數據庫操作指令；

若所述更新日志中的源數據庫操作指令是刪除指令時，對第一數據庫執行所述刪除指令；

若所述更新日志中的源數據庫操作指令不是刪除指令時，解析所述更新日志提取所述更新日志中的更新數據。