[發明專利]數據庫變更數據的處理方法、裝置、計算機設備和介質

在審

• 申請號: 202110601826.3
• 申請日: 2021-05-31
• 公開（公告）號: CN113377789A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 錢威
• 申請（專利權）人: 上海數禾信息科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 劉鋒;邱忠貺

1.一種數據庫變更數據的處理方法，其特征在于，所述方法包括：

實時拉取指定數據庫生成的數據變更日志，將拉取到數據變更日志解析為變更數據；

按照預設關鍵字對所述變更數據進行過濾，在從所述變更數據中過濾得到用于變更數據的操作語句時，從所述變更數據中解析出與過濾得到的操作語句中的各條操作語句對應的變更信息，以及各條變更信息對應的存儲位置信息；

將各條變更信息處理為符合歷史數據庫的數據結構要求的變更記錄，并存儲至所述歷史數據庫中的與其存儲位置信息對應的數據表中。

2.如權利要求1所述的方法，其特征在于，

從所述變更數據中解析出各條變更信息對應的存儲位置信息的步驟，包括：

從所述變更數據中解析出各條操作語句對應的數據庫實例名、數據庫名和數據表名；

通過各條操作語句對應的數據庫實例名、數據庫名和數據表名映射得到各條操作語句對應的歷史數據表名，將各條操作語句對應的歷史數據表名作為該各條操作語句對應的變更信息的存儲位置信息。

3.如權利要求1所述的方法，其特征在于，所述方法還包括：

定時查詢所述指定數據庫的索引，以及所述歷史數據庫的索引；

將所述指定數據庫的索引和所述歷史數據庫的索引進行比較，并根據比較得到的結果對所述指定數據庫和所述歷史數據庫的索引進行同步。

4.如權利要求3所述的方法，其特征在于，

將所述指定數據庫的索引和所述歷史數據庫的索引進行比較，并根據比較得到的結果對所述指定數據庫和所述歷史數據庫的索引進行同步的步驟，包括：

將所述指定數據庫的索引和所述歷史數據庫的索引進行比較，確定出所述指定數據庫的索引和所述歷史數據庫的索引之間的交集；

刪除所述歷史數據庫的索引中的不屬于所述交集的索引；

將所述指定數據庫的索引中的不屬于所述交集的索引，新增至所述歷史數據庫中。

5.如權利要求3所述的方法，其特征在于，所述方法還包括：

接收來自用戶端的攜帶有查詢條件的查詢請求；

根據所述歷史數據庫的索引從所述歷史數據庫中查詢與所述查詢條件符合的變更信息；

將查詢到的變更信息作為查詢結果返回給所述用戶端，使得所述用戶端通過預設查詢結果展示界面將其接收到的查詢結果展示給用戶。

6.如權利要求1所述的方法，其特征在于，所述用于變更數據的操作語句為用于新增數據、刪除數據或更新數據的SQL語句；所述歷史數據庫為Mongo數據庫或ElasticSearch數據庫；所述數據變更日志為binlog日志文件。

7.如權利要求1所述的方法，其特征在于，任一條所述操作語句對應的變更信息包括數據變更類型、數據變更時間、變更后數據和變更前數據。

8.一種數據庫變更數據的處理裝置，其特征在于，所述裝置包括：

第一數據處理模塊，用于實時拉取指定數據庫生成的數據變更日志，將拉取到數據變更日志解析為變更數據；

第二數據處理模塊，用于按照預設關鍵字對所述變更數據進行過濾，在從所述變更數據中過濾得到用于變更數據的操作語句時，從所述變更數據中解析出與過濾得到的操作語句中的各條操作語句對應的變更信息，以及各條變更信息對應的存儲位置信息；

數據存儲模塊，用于將各條變更信息處理為符合歷史數據庫的數據結構要求的變更記錄，并存儲至所述歷史數據庫中的與其存儲位置信息對應的數據表中。

9.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法的步驟。