[發明專利]數據質量校驗方法、設備及計算機可讀存儲介質

在審

• 申請號: 202111576645.6
• 申請日: 2021-12-21
• 公開（公告）號: CN114238381A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 楊東方;韓海燕;黎君;李元;肖和兵;李朝陽
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2453;G06F16/2455
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 楊培權

本發明涉及金融科技(Fintech)技術領域。本發明公開了一種數據質量校驗方法、設備及計算機可讀存儲介質，通過先在底層封裝好用于校驗數據表中各字段所需的規則表達式的校驗邏輯，然后基于此配置出適配于數據表字段的描述信息的規則信息定義表，使得當存在數據校驗需求時，只需給出用于描述數據表的參數，系統即可自動根據參數加載出相應的規則配置以及數據表，然后通過規則匹配自動生成各字段校驗所需的規則表達式，最后按照相應的規則表達式對各字段進行校驗，整個過程中無需人工進行配置以及編寫sql語句，因此校驗人員無需學習校驗規則表達式的編寫，降低了校驗人員的專業要求，并使得字段校驗的配置更為方便快捷，從而提高了數據質量校驗的效率。

技術領域

本發明涉及金融科技(Fintech)技術領域，尤其涉及一種數據質量校驗方法、設備及計算機可讀存儲介質。

背景技術

隨著計算機技術的發展，越來越多的技術(大數據、分布式、區塊鏈Blockchain、人工智能等)應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變，但由于金融行業的安全性、實時性要求，也對數據處理技術提出了更高的要求。

在日常的數據處理過程中，通常都需要對采集到的數據進行質量校驗，而由于需要檢驗的數據量通常會比較大，因此會將海量數據存儲于Hive庫(基于hadoop的一個數據倉庫工具，hadoop是一種分布式系統基礎架構，可進行海量數據的高速運算和存儲)中，然后基于Hive所具備的功能將數據的校驗規則轉換為sql語句，最后針對庫中數據執行這些校驗規則語句，以將采集數據中的異常數據篩選出來。但在傳統的校驗方式中，都是人工根據字段的邏輯配置校驗規則，并且需要人工編寫sql語句，當面對大量需要校驗的數據時，通過這一方式來進行數據校驗顯然十分低效。

發明內容

本發明的主要目的在于提出一種數據質量校驗方法、設備及計算機可讀存儲介質，旨在解決現有的基于人工的數據質量校驗方式的效率低下的技術問題。

為實現上述目的，本發明提供一種數據質量校驗方法，所述數據質量校驗方法包括：

獲取輸入參數，并從預配置的規則信息定義表中查詢出與所述輸入參數相關的規則配置信息，其中，所述規則信息定義表與各數據表的描述信息相適配，且底層封裝有若干校驗規則表達式的校驗邏輯；

將所述規則配置信息轉化為第一鍵值對集合，并根據所述輸入參數獲取到待校驗數據表，以將所述待校驗數據表轉化為第二鍵值對集合；

將所述第一鍵值對集合與所述第二鍵值對集合進行匹配，以匹配得到所述待校驗數據表中各字段對應的目標校驗表達式；

按照所述目標校驗表達式對所述待校驗數據表中的各字段進行數據校驗，以得到校驗結果。

可選地，所述規則信息定義表包括基礎信息表和校驗規則定義表，

所述獲取輸入參數，并從預配置的規則信息定義表中查詢出與所述輸入參數相關的規則配置信息的步驟包括：

在接收到數據校驗指令時，從所述數據校驗指令中獲取數據庫名與數據表名，以作為所述輸入參數；

從預配置的基礎信息表與校驗規則定義表中查詢到與所述數據庫名和數據表名相關的規則配置信息，其中，所述基礎信息表與所述校驗規則定義表中均定義有數據庫名參數和數據表名參數。

可選地，所述將所述規則配置信息轉化為第一鍵值對集合的步驟包括：

將所述規則配置信息轉化為若干第一鍵值對，其中，所述第一鍵值對中的關鍵字為所述校驗規則定義表中所定義的一字段名稱，所述第一鍵值對中的值為所述字段名稱分別對應在所述基礎信息表和校驗規則定義表中的基礎信息和校驗規則信息；

將若干所述第一鍵值對匯總為所述第一鍵值對集合。