[發明專利]一種數據質量校驗方法

在審

• 申請號: 202310050189.4
• 申請日: 2023-02-01
• 公開（公告）號: CN116244286A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 楊輝;黃家昌;林華;林文健
• 申請（專利權）人: 福建億能達信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/248
• 代理公司: 福州市京華專利代理事務所(普通合伙) 35212
• 代理人: 王美花

1.一種數據質量校驗方法，其特征在于：包括如下步驟：

步驟S10、通過JDBC技術從數據源中獲取待校驗的初始數據；

步驟S20、配置用于數據校驗的字典、外鍵以及自定義規則模板；

步驟S30、基于所述字典、外鍵以及自定義規則模板生成校驗規則列表；

步驟S40、調度所述校驗規則列表對初始數據進行自動校驗，生成數據校驗結果；

步驟S50、展示所述數據校驗結果。

2.如權利要求1所述的一種數據質量校驗方法，其特征在于：所述步驟S10具體為：

通過JDBC技術，基于數據源名稱、數據源類型、主機IP、數據庫名、端口、用戶名以及密碼從數據源中獲取待校驗的初始數據。

3.如權利要求1所述的一種數據質量校驗方法，其特征在于：所述步驟S10中，所述數據源為MySQL數據庫、Oracle數據庫或者SQLServer數據庫。

4.如權利要求1所述的一種數據質量校驗方法，其特征在于：所述步驟S20具體為：

基于字段的映射關系配置用于數據校驗的字典；

基于數據源、表名、外鍵列、父表名以及關聯列配置用于數據校驗的外鍵；

基于規則模板名稱、規則模板sql、表名、字段名以及參數名配置用于數據校驗的自定義規則模板。

5.如權利要求1所述的一種數據質量校驗方法，其特征在于：所述步驟S30具體為：

基于所述字典、外鍵以及數據庫本身的約束自動添加數據校驗規則，或者通過所述自定義模板或sql手動添加數據校驗規則，基于各所述數據校驗規則生成校驗規則列表。

6.如權利要求1所述的一種數據質量校驗方法，其特征在于：所述步驟S40具體為：

創建若干個攜帶校驗批次數據的定時調度任務，通過JAVA多線程技術啟動各所述定時調度任務，進而周期性調度校驗規則列表對初始數據進行自動校驗，或者手動調度所述校驗規則列表對初始數據進行校驗，并自動生成數據校驗結果。

7.如權利要求6所述的一種數據質量校驗方法，其特征在于：所述校驗批次數據至少包括數據開始時間、數據結束時間以及數據機構用于過濾本次校驗的數據。

8.如權利要求1所述的一種數據質量校驗方法，其特征在于：所述步驟S40中，對所述初始數據進行自動校驗的過程中，實時計算已完成校驗的數據量與初始數據的總數量的比值以得到校驗進度，通過js定時器以1秒為周期獲取并展示所述校驗進度。

9.如權利要求1所述的一種數據質量校驗方法，其特征在于：所述步驟S40中，對所述初始數據進行自動校驗的過程中，自動生成并存儲校驗執行記錄。

10.如權利要求1所述的一種數據質量校驗方法，其特征在于：所述步驟S50具體為：

通過ApachePOI的API展示和導出所述數據校驗結果；所述數據校驗結果至少包括校驗數據總量、異常數據量以及數據校驗規則總數。