[發明專利]一種數據質量校驗方法

在審

• 申請號: 202310050189.4
• 申請日: 2023-02-01
• 公開（公告）號: CN116244286A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 楊輝;黃家昌;林華;林文健
• 申請（專利權）人: 福建億能達信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/248
• 代理公司: 福州市京華專利代理事務所(普通合伙) 35212
• 代理人: 王美花

本發明提供了數據校驗技術領域的一種數據質量校驗方法，包括如下步驟：步驟S10、通過JDBC技術從數據源中獲取待校驗的初始數據；步驟S20、配置用于數據校驗的字典、外鍵以及自定義規則模板；步驟S30、基于所述字典、外鍵以及自定義規則模板生成校驗規則列表；步驟S40、調度所述校驗規則列表對初始數據進行自動校驗，生成數據校驗結果；步驟S50、展示所述數據校驗結果。本發明的優點在于：極大的提升了數據質量校驗的效率以及質量。

技術領域

本發明涉及數據校驗技術領域，特別指一種數據質量校驗方法。

背景技術

隨著計算機技術的發展，基于互聯網的醫療信息系統的建設在各醫療單位大量開展，醫院信息化發展日益磅礴。醫院信息化發展到一定程度，數據自然成為關注的焦點，數據在不斷誕生，并匯聚到數據中心，但誕生的這些數據中也存在一些問題數據，如果不能及時、精準地對數據質量進行把關，將會存在越來越多的“壞數據”，甚至將數據中心弄“臟”；因此，產生了對數據質量進行校驗的需求。

然而，針對數據質量的校驗，傳統上僅是采取人工抽查的方法，不僅導致數據質量的校驗效率低下，而且校驗的維度單一，導致校驗的質量也不盡如人意。因此，如何提供一種數據質量校驗方法，實現提升數據質量校驗的效率以及質量，成為一個亟待解決的技術問題。

發明內容

本發明要解決的技術問題，在于提供一種數據質量校驗方法，實現提升數據質量校驗的效率以及質量。

本發明是這樣實現的：一種數據質量校驗方法，包括如下步驟：

步驟S10、通過JDBC技術從數據源中獲取待校驗的初始數據；

步驟S20、配置用于數據校驗的字典、外鍵以及自定義規則模板；

步驟S30、基于所述字典、外鍵以及自定義規則模板生成校驗規則列表；

步驟S40、調度所述校驗規則列表對初始數據進行自動校驗，生成數據校驗結果；

步驟S50、展示所述數據校驗結果。

進一步地，所述步驟S10具體為：

通過JDBC技術，基于數據源名稱、數據源類型、主機IP、數據庫名、端口、用戶名以及密碼從數據源中獲取待校驗的初始數據。

進一步地，所述步驟S10中，所述數據源為MySQL數據庫、Oracle數據庫或者SQLServer數據庫。

進一步地，所述步驟S20具體為：

基于字段的映射關系配置用于數據校驗的字典；

基于數據源、表名、外鍵列、父表名以及關聯列配置用于數據校驗的外鍵；

基于規則模板名稱、規則模板sql、表名、字段名以及參數名配置用于數據校驗的自定義規則模板。

進一步地，所述步驟S30具體為：

基于所述字典、外鍵以及數據庫本身的約束自動添加數據校驗規則，或者通過所述自定義模板或sql手動添加數據校驗規則，基于各所述數據校驗規則生成校驗規則列表。

進一步地，所述步驟S40具體為：

創建若干個攜帶校驗批次數據的定時調度任務，通過JAVA多線程技術啟動各所述定時調度任務，進而周期性調度校驗規則列表對初始數據進行自動校驗，或者手動調度所述校驗規則列表對初始數據進行校驗，并自動生成數據校驗結果。

進一步地，所述校驗批次數據至少包括數據開始時間、數據結束時間以及數據機構用于過濾本次校驗的數據。