[發(fā)明專利]大數(shù)據(jù)回歸驗證方法及大數(shù)據(jù)回歸驗證裝置

有效

• 申請?zhí)枺?/td>: 202011031896.1
• 申請日: 2020-09-27
• 公開（公告）號: CN111881128B
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計）人: 顧凌云;郭志攀;王偉;鄭俊紅;謝杰
• 申請（專利權(quán)）人: 上海冰鑒信息科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F9/455;G06F16/242
• 代理公司: 成都頂峰專利事務(wù)所(普通合伙) 51224
• 代理人: 匡睿

本發(fā)明提供的大數(shù)據(jù)回歸驗證方法及大數(shù)據(jù)回歸驗證裝置，首先將第一數(shù)據(jù)源信息、第二數(shù)據(jù)源信息以及數(shù)據(jù)特征信息添加到預(yù)設(shè)配置文件中，其次在檢測到腳本運行指令時運行python自動化腳本以根據(jù)第一數(shù)據(jù)源信息和第二數(shù)據(jù)源信息建立業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫的第一數(shù)據(jù)訪問通道以及大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫的第二數(shù)據(jù)訪問通道，然后基于數(shù)據(jù)特征信息對業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫和大數(shù)據(jù)系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)加工計算，并對計算得到的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫對應(yīng)的第一結(jié)果文件以及大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫對應(yīng)的第二結(jié)果文件進行一致性比較，從而實現(xiàn)對業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫和大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)的驗證。如此，無需編寫并反復(fù)修改結(jié)構(gòu)化查詢語言便能夠?qū)崿F(xiàn)數(shù)據(jù)驗證，從而減少驗證時間。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種大數(shù)據(jù)回歸驗證方法及大數(shù)據(jù)回歸驗證裝置。

背景技術(shù)

隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)庫作為存儲數(shù)據(jù)、共享數(shù)據(jù)和管理數(shù)據(jù)的倉庫，在數(shù)據(jù)分析和數(shù)據(jù)挖掘中扮演著重要的角色。因此，對數(shù)據(jù)庫中的數(shù)據(jù)進行數(shù)據(jù)加工的驗證以確保數(shù)據(jù)庫中的數(shù)據(jù)在業(yè)務(wù)執(zhí)行邏輯上的正確性是非常重要的。然而現(xiàn)有的對數(shù)據(jù)庫中的數(shù)據(jù)進行數(shù)據(jù)加工驗證的方法大多是基于人工編寫的結(jié)構(gòu)化查詢語言（Structured QueryLanguage，SQL）進行的，但是這種驗證方法需要反復(fù)修改SQL。

發(fā)明內(nèi)容

為了改善上述問題，本發(fā)明提供了一種大數(shù)據(jù)回歸驗證方法及大數(shù)據(jù)回歸驗證裝置，能夠基于添加在預(yù)設(shè)配置文件中的數(shù)據(jù)特征信息對業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫和大數(shù)據(jù)系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)加工計算，并對計算得到的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫對應(yīng)的第一結(jié)果文件以及大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫對應(yīng)的第二結(jié)果文件進行一致性比較，從而實現(xiàn)對業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫和大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)的驗證，無需編寫并反復(fù)修改結(jié)構(gòu)化查詢語言。

本發(fā)明實施例的第一方面，提供了一種大數(shù)據(jù)回歸驗證方法，應(yīng)用于計算機設(shè)備，所述方法包括：

獲取第一數(shù)據(jù)源信息以及第二數(shù)據(jù)源信息，將所述第一數(shù)據(jù)源信息和所述第二數(shù)據(jù)源信息添加到預(yù)設(shè)配置文件中；

在所述預(yù)設(shè)配置文件中添加數(shù)據(jù)特征信息；

檢測是否接收到腳本運行指令，若檢測到所述腳本運行指令，運行預(yù)設(shè)的python自動化腳本，以基于所述預(yù)設(shè)配置文件中的第一數(shù)據(jù)源信息和第二數(shù)據(jù)源信息建立與業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫的第一數(shù)據(jù)訪問通道以及與大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫的第二數(shù)據(jù)訪問通道；

根據(jù)所述數(shù)據(jù)特征信息分別通過所述第一數(shù)據(jù)訪問通道和所述第二數(shù)據(jù)訪問通道對所述業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫和所述大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)進行數(shù)據(jù)加工計算，得到與所述業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫對應(yīng)的第一結(jié)果文件以及與所述大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫對應(yīng)的第二結(jié)果文件；

判斷所述第一結(jié)果文件和所述第二結(jié)果文件是否一致；

若一致，則判定所述業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫與所述大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫通過數(shù)據(jù)驗證；

若不一致，則提取所述第一結(jié)果文件和所述第二結(jié)果文件之間的差異數(shù)據(jù)，根據(jù)所述差異數(shù)據(jù)對所述預(yù)設(shè)配置文件進行修復(fù)并返回根據(jù)所述數(shù)據(jù)特征信息分別通過所述第一數(shù)據(jù)訪問通道和所述第二數(shù)據(jù)訪問通道對業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫和所述大數(shù)據(jù)系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)進行數(shù)據(jù)加工計算的步驟。

可選地，提取所述第一結(jié)果文件和所述第二結(jié)果文件之間的差異數(shù)據(jù)，包括：

獲取所述第一結(jié)果文件中的多條第一結(jié)果數(shù)據(jù)以及所述第二結(jié)果文件中的多條第二結(jié)果數(shù)據(jù)；其中，所述第一結(jié)果數(shù)據(jù)和所述第二結(jié)果數(shù)據(jù)分別具有信息標識；

計算具有相同信息標識的第一結(jié)果數(shù)據(jù)和第二結(jié)果數(shù)據(jù)的相似度；

將相似度小于設(shè)定值的第一結(jié)果數(shù)據(jù)和第二結(jié)果數(shù)據(jù)進行打包得到目標結(jié)果數(shù)據(jù)；

根據(jù)所述目標結(jié)果數(shù)據(jù)得到所述差異數(shù)據(jù)。

可選地，根據(jù)所述差異數(shù)據(jù)對所述預(yù)設(shè)配置文件進行修復(fù)，包括：