[發明專利]基于數據倉庫的數據檢查方法、裝置、計算機設備和存儲介質

在審

• 申請號: 201910188575.3
• 申請日: 2019-03-13
• 公開（公告）號: CN110019566A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 程輝
• 申請（專利權）人: 平安信托有限責任公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215;G06F16/22;G06F16/23;G06F16/242
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 王寧;熊文杰

本申請涉及一種基于計算機技術領域的基于數據倉庫的數據檢查方法、裝置、計算機設備和存儲介質。所述方法包括：將預設時間段內的生產數據同步至測試環境，得到待檢查測數據；對生產數據同步過程進行監聽，當同步過程完成時，觸發檢查任務啟動；根據所述檢查任務對第一字典表進行掃描，將所述待檢查測數據存儲于對應的數據表中；根據預設敏感字段對所述數據表中的待檢查測數據進行敏感處理；通過掃描第二字典表對敏感處理后的待查數據進行邊界構造，得到字段級數據；對所述字段級數據進行質量檢查，得到有效的測試數據。采用本方法能夠提高了數據倉庫中數據的檢查效率，從而提高了數據倉庫的檢查效率。

技術領域

本申請涉及計算機技術領域，特別是涉及一種基于數據倉庫的數據檢查方法、裝置、計算機設備和存儲介質。

背景技術

數據倉庫是一個面向主題的、集成的、相對穩定的反應歷史變化的數據集合，用于支持決策。在數據倉庫中存儲有大量的歷史數據，并定期更新。在進行軟件測試的過程中，需要調用數據倉庫中的數據，在調用之前，需要對數據倉庫中的數據進行檢查。在傳統方式中，是通過手工對數據倉庫中的數據進行檢查，由于數據倉庫涉及到數據量很大，導致數據檢查效率較低。因此，如何提高對數據倉庫中的數據檢查效率，從而提高數據倉庫的檢查效率成為目前需要解決的一個技術問題。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高數據倉庫中數據的檢查效率，從而提高數據倉庫的檢查效率的基于數據倉庫的數據檢查方法、裝置、計算機設備和存儲介質。

一種基于數據倉庫的數據檢查方法，所述方法包括：

將預設時間段內的生產數據同步至測試環境，得到待檢查測數據；

對生產數據同步過程進行監聽，當同步過程完成時，觸發檢查任務啟動；

根據所述檢查任務對第一字典表進行掃描，將所述待檢查測數據存儲于對應的數據表中；

根據預設敏感字段對所述數據表中的待檢查測數據進行敏感處理；

通過掃描第二字典表對敏感處理后的待檢查測試數據進行邊界構造，得到字段級數據；

對所述字段級數據進行質量檢查，得到有效的測試數據。

在其中一個實施例中，所述通過掃描第二字典表對敏感處理后的待檢查測試數據進行邊界構造，得到字段級數據包括：

通過掃描第二字典表，獲取敏感處理后的待檢查測試數據對應的構造因子；

根據所述構造因子對所述敏感處理后的待檢查測試數據進行邊界構造，得到字段級數據；

將所述字段級數據中所有字段的最大長度數據填充于所述數據表中。

在其中一個實施例中，所述對所述字段級數據進行質量檢查包括：

通過對第三字典表進行解析，獲取預設關鍵字；

根據所述預設關鍵字查找所述字段級數據的多個存儲過程；

對每個存儲過程中多個表之間的依賴關系進行分析，得到依賴關系分析結果，將所述依賴關系分析結果存儲于相應的結果表中。

在其中一個實施例中，所述對所述字段級數據進行質量檢查包括：

在所述字段級數據對應的數據表中，查找數據日期對應的整體數據量以及所述數據日期對應的每個字段的空值數據量；

根據所述數據日期對應的整體數據量、數據日期對應的每個字段的空值數據量以及預設關系，計算所述數據日期對應的每個字段的空值率；

根據數據日期對應的多個字段的空值率得到數據表的空值率。

在其中一個實施例中，所述對所述字段級數據進行質量檢查包括：