[發明專利]基于數據倉庫的數據檢查方法、裝置、計算機設備和存儲介質

在審

• 申請號: 201910188575.3
• 申請日: 2019-03-13
• 公開（公告）號: CN110019566A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 程輝
• 申請（專利權）人: 平安信托有限責任公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215;G06F16/22;G06F16/23;G06F16/242
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 王寧;熊文杰

1.一種基于數據倉庫的數據檢查方法，所述方法包括：

將預設時間段內的生產數據同步至測試環境，得到待檢查測試數據；

對生產數據同步過程進行監聽，當同步過程完成時，觸發檢查任務啟動；

根據所述檢查任務對第一字典表進行掃描，將所述待檢查測數據存儲于對應的數據表中；

根據預設敏感字段對所述數據表中的待檢查測數據進行敏感處理；

通過掃描第二字典表對敏感處理后的待檢查測試數據進行邊界構造，得到字段級數據；

對所述字段級數據進行質量檢查，得到有效的測試數據。

2.根據權利要求1所述的方法，其特征在于，所述通過掃描第二字典表對敏感處理后的待檢查測試數據進行邊界構造，得到字段級數據包括：

通過掃描第二字典表，獲取敏感處理后的待檢查測試數據對應的構造因子；

根據所述構造因子對所述敏感處理后的待檢查測試數據進行邊界構造，得到字段級數據；

將所述字段級數據中所有字段的最大長度數據填充于所述數據表中。

3.根據權利要求1所述的方法，其特征在于，所述對所述字段級數據進行質量檢查包括：

通過對第三字典表進行解析，獲取預設關鍵字；

根據所述預設關鍵字查找所述字段級數據的多個存儲過程；

對每個存儲過程中多個表之間的依賴關系進行分析，得到依賴關系分析結果，將所述依賴關系分析結果存儲于相應的結果表中。

4.根據權利要求1所述的方法，其特征在于，所述對所述字段級數據進行質量檢查包括：

在所述字段級數據對應的數據表中，查找數據日期對應的整體數據量以及所述數據日期對應的每個字段的空值數據量；

根據所述數據日期對應的整體數據量、數據日期對應的每個字段的空值數據量以及預設關系，計算所述數據日期對應的每個字段的空值率；

根據數據日期對應的多個字段的空值率得到所述數據表的空值率。

5.根據權利要求1所述的方法，其特征在于，所述對所述字段級數據進行質量檢查包括：

在所述測試環境中讀取測試對象控制表以及檢查規則配置表；

根據所述測試對象控制表提取與測試對象對應的字段級數據；

根據所述檢查規則配置表中的檢查規則對所述測試對象對應的字段級數據進行檢查。

6.一種基于數據倉庫的數據檢查裝置，其特征在于，所述裝置包括：

通信模塊，用于將預設時間段內的生產數據同步至測試環境，得到待檢查測試數據；

監聽模塊，用于對生產數據同步過程進行監聽，當同步過程完成時，觸發檢查任務啟動；

構造模塊，用于根據所述檢查任務對第一字典表進行掃描，將所述待檢查測數據存儲于對應的數據表中；根據預設敏感字段對所述數據表中的待檢查測數據進行敏感處理；通過掃描第二字典表對敏感處理后的待檢查測試數據進行邊界構造，得到字段級數據；

檢查模塊，用于對所述字段級數據進行質量檢查，得到有效的測試數據。

7.根據權利要求6所述的裝置，其特征在于，所述構造模塊，還用于通過掃描第二字典表，獲取敏感處理后的待檢查測試數據對應的構造因子；根據所述構造因子對所述敏感處理后的待檢查測試數據進行邊界構造，得到字段級數據；將所述字段級數據中所有字段的最大長度數據填充于所述數據表中。

8.根據權利要求6所述的裝置，其特征在于，所述構造模塊還用于通過對第三字典表進行解析，獲取預設關鍵字；根據所述預設關鍵字查找所述字段級數據的多個存儲過程；對每個存儲過程中多個表之間的依賴關系進行分析，得到依賴關系分析結果，將所述依賴關系分析結果存儲于相應的結果表中。

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至5中任一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至5中任一項所述方法的步驟。