[發明專利]一種數據缺失相關的數據異常值校驗的自動化測試方法

有效

• 申請號: 202010467323.7
• 申請日: 2020-05-28
• 公開（公告）號: CN111813652B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 王一君;陳燦;邱林;王光華
• 申請（專利權）人: 杭州覽眾數據科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F16/22;G06F16/23
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種數據缺失相關的數據異常值校驗的自動化測試方法，其特征在于對支持的校驗類型的具體測試的實現方式包括如下步驟：

步驟1：在PG庫中創建用例層及結果層，分別對應schema1和schema2,按測試類型創建測試用例表和用例結果表；

步驟2：用例層的配置測試用例數據，按測試類型，針對每一種測試類型均在對應的測試用例表中配置測試用例數據，測試用例數據的內容包含：用例id、項目名稱、提測版本、測試層名、測試表名、分區、字段名、校驗內容、預期結果、用例狀態、創建時間；

步驟3：讀取用例表中的測試用例數據，并構造用于測試的SQL腳本；

步驟4：根據用例id，循環執行每一條測試用例數據所構造的SQL腳本，讀取HIVE/PG的被測數據，得到被測數據的實際測試數據結果；

步驟5：在關鍵步驟打印日志，關鍵步驟包括：

①執行時輸入的參數校驗；

②獲取測試用例數據，并創建dataframe；

③循環執行所有測試用例，得到被測數據的實際數據結果；

④存儲測試結果；

⑤執行成功提示；

步驟6：將實際測試數據結果與用例表中配置的預期結果進行比較，得出測試結果，使用is_pass字段標識測試是否通過；

步驟7：存儲測試結果：將測試結果存儲在用例結果表中，is_pass為1表示測試通過，is_pass為0表示測試未通過；

步驟8：測試人員在對應的校驗類型結果表中查看測試結果。

2.根據權利要求1所述的一種數據缺失相關的數據異常值校驗的自動化測試方法，其特征在于支持的校驗類型包含如下：

類型1：對表數據增量進行測試，統計前7天數據量的均值，使用第8天的數據量與前7天的數據量做比較，計算增量比例：

增量比例=（第8天的數據量/前7天數據量均值)-1

用例設置理想比例范圍作為預期結果；

類型2：數據更新及時性測試，通過在用例表中配置正確的日期與測試日期的差距，來校驗表中的數據是否及時更新；

類型3：單表數據時間范圍數據缺失測試，通過在用例表中配置需要在一定天數內有若干天數據，來校驗被測表是否通過測試；

類型4：多表數據時間范圍數據缺失校驗，用于校驗A表中的數據保留的數據量取決于配置表B中的日期配置，來驗證被測表的數據量是否滿足配置表的配置要求；

類型5：兩表數據的包含關系校驗，用于校驗A表中的某些維度數據，必須來源于B表的對應維度，即B表維度數據大于等于A表。