[發明專利]一種數據缺失相關的數據異常值校驗的自動化測試方法

有效

• 申請號: 202010467323.7
• 申請日: 2020-05-28
• 公開（公告）號: CN111813652B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 王一君;陳燦;邱林;王光華
• 申請（專利權）人: 杭州覽眾數據科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F16/22;G06F16/23
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種數據缺失相關的數據異常值校驗的自動化測試方法。本發明該方法及工具可以較為高效地完成數據的異常情況測試。具體包括以下步驟：(1)首先，在PostgreSQL數據庫創建用例表及測試結果表，用于后續存儲測試用例和測試結果；(2)根據數據測試需求，在數據庫表中配置測試用例；(3)執行代碼的校驗類，可選擇部分校驗類型或全部類型進行測試；(4)自動拼接測試SQL；(5)執行測試SQL，對比測試結果與期望結果的一致性；(6)將測試結果寫表存儲。本方法及工具亦可保存歷史已配置好的用例，進行自動化回歸測試。本數據測試方法及工具可極大提升測試工作效率。

技術領域

本發明屬于信息技術領域，具體涉及一種數據缺失相關的數據異常值校驗的自動化測試方法及工具。

背景技術

本世紀以來，我國的科技不斷發展進步，互聯網的出現產生了大量的數據信息，人類已進入“大數據”時代。在這樣一個時代背景下，依靠大數據展開的數據挖掘、機器學習等算法應用于各行各業，那么如何進行數據軟件產品的測試，保證數據的準確性就顯得尤為重要。

在傳統軟件測試體系中，對功能、性能、穩定性等測試方法描述比較完善，但很少有涉及大數據的測試方法。因此，本發明針對大數據測試方法，梳理出一類數據異常校驗分支，并提供自動化測試工具，為大數據測試體系的完善提供有力支撐，同時在提高數據測試效率方面邁出堅實的一步。

發明內容

本發明的目的在于現有軟件測試體系對大數據測試方法的不足，提出并開發一種數據缺失相關的數據異常值校驗的自動化測試方法及工具。具體說明如下：

一種數據缺失相關的數據異常值校驗的自動化測試方法，對可支持的校驗類型的具體測試的實現方式包括如下步驟：

步驟1：在PG庫中創建用例層及結果層，分別對應schema1和schema2,按測試類型創建測試用例表和用例結果表；

步驟2：用例層的配置測試用例數據，按測試類型，針對每一種測試類型均在對應的測試用例表中配置測試用例數據，測試用例數據的內容包含：用例id、項目名稱、提測版本、測試層名、測試表名、分區、字段名、校驗內容、預期結果、用例狀態、創建時間；

步驟3：讀取用例表中的測試用例數據，并構造用于測試的SQL腳本；

步驟4：根據用例id，循環執行每一條測試用例數據所構造的SQL腳本，讀取HIVE/PG的被測數據，得到被測數據的實際測試數據結果；

步驟5：在關鍵步驟打印日志，關鍵步驟包括：

①執行時輸入的參數校驗；

②獲取測試用例數據，并創建dataframe；

③循環執行所有測試用例，得到被測數據的實際數據結果；

④存儲測試結果；

⑤執行成功提示；

步驟6：將實際測試數據結果與用例表中配置的預期結果進行比較，得出測試結果，使用is_pass字段(即用例結果表中的是否通過測試字段)標識測試是否通過；

步驟7：存儲測試結果：將測試結果存儲在用例結果表中，is_pass為1表示測試通過，is_pass為0表示測試未通過；

步驟8：測試人員可在對應的校驗類型結果表中查看測試結果。

進一步的，可支持的校驗類型包含如下：

類型1：對表數據增量進行測試，統計前7天數據量的均值，使用第8天的數據量與前7天的數據量做比較，計算增量比例：

增量比例＝(第8天的數據量/前7天數據量均值)-1

用例設置理想比例范圍作為預期結果；