[發明專利]數據庫數據比對方法和比對系統

在審

• 申請號: 201811314245.6
• 申請日: 2018-11-06
• 公開（公告）號: CN111143406A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 劉愛慧
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 范芳茗;劉靜

本發明實施例提供一種數據庫數據比對方法和比對系統，該數據庫數據比對方法包括：調用查詢服務對數據庫的指定數據進行第一次查詢，并生成第一次查詢結果；將所述第一次查詢結果進行緩存；調用同一查詢服務對所述指定數據進行第二次查詢，并生成第二次查詢結果；以及將所述第一次查詢結果與所述第二次查詢結果進行比對，分析出差異數據。該方法通過查詢服務多次查詢數據庫的指定數據，將多次的查詢結果緩存并進行比對，從而降低比對的工作量，簡化對比步驟，并且提供差異數據分析，直觀的展示數據表的變化。

技術領域

本發明涉及計算機技術領域，具體涉及一種數據庫數據比對方法和比對系統。

背景技術

目前，在開發調試或測試過程中，常需要對數據庫的數據進行前后比對，以檢查在代碼/程序運行過程中數據發生了什么變化。這就需要分字段比對，目前有兩種常用的比對數據庫的方式。一是用戶記錄下操作前后的數據表各字段數值，然后人工進行逐字逐句的比對，即可查詢出本次操作對數據產生的影響，這種比對常見于修改字段較少或者要查詢的表較少的情況，倘若數據字段過多則不適宜人工比對；另一種是讀取canal日志消息，系統在對配置了canal消息得到數據庫進行操作時，可以通過查看canal日志來確定數據庫操作前后的更新變化情況，這種方式能看出數據庫的變化，但相對不直觀，還需要用戶自行進行人工比對和篩選。而關于比對技術，常用的有3類，一種是利用數據庫本身的差異化工具或者直接利用SQL語句進行比對，比如mysqldiff工具，outer join技術等；一種是將數據庫的數據進行抽取，形成集合或者海量數據，提取關鍵字，簡化海量數據的比對過程，適于頻繁訪問數據庫的情況，比如專利CN 103176989A，專利CN107291908A等；還有一種是制定某種規則，來規范化數據的比較。對于已存在的比對技術，目標比對是較為復雜的數據庫或者大量數據表時，除將數據提取出來做成集合后比對之外，其余技術本質上仍然是對數據表操作的比對，仍然需要人為參與且不直觀，并且對于做成集合比對或者制定規則來說，又相比對較復雜，對于常用的簡單數據庫比對，耗費的效率可能會更高。

因此，發明人認為，上述的數據比對方法有很大的局限性，一定程度上是可以解決查詢數據庫字段前后變化的問題，但不管是技術或者工具，人為參與所占的比重非常大，在數據量少且比對的字段不多的情況下，采用上述幾種方式均不會有太大的負擔，但如果數據量龐大或者字段眾多，或者工作中頻繁需要比對數據庫，手工比對或者查詢canal日志，都會是一個非常大的工作量，并且有可能遺漏，比對結果可能不夠直觀；對于單條數據的對比，已有的海量數據的對比并不是最高效的處理方式。

發明內容

有鑒于此，本發明實施例提供一種數據庫數據比對方法和比對系統，將數據的比對過程自動化，并且提供一個差異報告，從而降低比對的工作量，并且直觀的展示數據表的變化。

根據本發明第一方面，提供一種數據庫數據比對方法，包括：調用查詢服務對數據庫的指定數據進行第一次查詢，并生成第一次查詢結果；將所述第一次查詢結果進行緩存；調用同一查詢服務對所述指定數據進行第二次查詢，并生成第二次查詢結果；以及將所述第一次查詢結果與所述第二次查詢結果進行比對，分析出差異數據。

優選地，所述數據庫數據比對方法還包括：將所述差異數據寫入差異報告，并將所述差異報告反饋給用戶端。

優選地，所述差異報告包括所述第一次查詢結果和所述第二次查詢結果的差異位置的展示和所述差異位置處的精準字段的比對數據。

優選地，調用查詢服務對數據庫的指定數據進行第一次查詢，并生成第一次查詢結果包括：提供至少一個查詢服務，每個所述查詢服務對應一個查詢語句；調用一個所述查詢語句，對由所述查詢語句指定的數據庫的指定數據進行第一次查詢；以及提取所述指定數據的詳細字段信息生成第一次查詢結果。

優選地，所述查詢語句用于選擇所述數據庫中需要進行比對的數據，并將其作為指定數據，不同的所述查詢語句對應不同的所述指定數據。