[發明專利]一種關系完整性的數據質量檢測系統

有效

• 申請號: 201611254042.3
• 申請日: 2016-12-30
• 公開（公告）號: CN108268462B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 李青海;侯大勇;簡宋全;鄒立斌
• 申請（專利權）人: 廣東精點數據科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22
• 代理公司: 北京隆源天恒知識產權代理事務所(普通合伙) 11473
• 代理人: 閆冬

本發明提供一種關系完整性的數據質量檢測系統，其包括：元數據處理模塊，用于從待檢測數據所在的數據庫中讀取待檢測數據的邏輯數據結構，并通過用戶交互和自動檢測發現潛在的數據關系來生成關系完整性規則模板；模板處理模塊，用于在資源庫中存儲和提取所述元數據處理模塊得到的關系完整性規則模板；問題處理模塊，用于發現、展示和處理關系完整性數據問題。本發明提供的一種關系完整性的數據質量檢測系統，可以解決復雜的關系完整性數據問題的檢測，并通過用戶輔助和一定自動化生成質量檢測模板，為后續增量數據的檢測提供便利，相比人工檢測節省了大量時間和精力。

技術領域

本發明涉及ETL過程中的數據質量監控領域，特別是一種關系完整性的數據質量檢測系統。

背景技術

信息技術的快速發展使得數據逐漸成為實現企業業務價值最重要的資源之一。然而隨著數據量的不斷增大，數據質量問題也隨之而來。數據缺失、錯誤、不一致等問題使企業對其的應用受到阻礙，嚴重的甚至會導致企業做出錯誤決策，損失重要價值進而引發信任危機。針對這些臟數據，許多數據質量檢測和清洗方案應運而生。而關系完整性在其中則是比較復雜的一種數據質量問題。關系完整性主要有四條規則：1.唯一性規則(identityrules)；2.參照性規則(reference rules)；3.參與度規則(cardinal rules)；4.派生規則(inheritance rules)這四種規則的多種情況導致其在數據表中呈現出現不同的邏輯結構，如參與度規則中實體間1對1和1對N關系在數據庫中只需兩張實體表，而多對多關系則需要再多一張關系表來記錄兩個實體間的多對多關系。另外，盡管在數據庫中可以設置外鍵規則，但許多公司可能并不會進行設置，這是因為比起防止輸入錯誤的外鍵參照數據，公司更在意這些僅出現參照錯誤的數據記錄的價值，因此更傾向于在輸入之后進行修改。這些復雜情形使數據庫逐漸累積了大量錯誤數據，并為數據質量的監控帶來了重重挑戰。

目前比較有代表性的數據質量評價工具對于簡單的數據質量問題如屬性域約束和關系完整性中主外鍵約束有較好的檢測效果，但對于復雜的邏輯結構，如參與度規則涉及的參與度問題和弱實體問題、以及派生規則中包含的子類型問題考慮的比較少。因此有必要設計一種比較易用和全面的系統對數據源中的數據和新增的數據進行關系完整性檢查。

鑒于上述缺陷，本發明創作者經過長時間的研究和實踐終于獲得了本發明。

發明內容

為解決上述技術缺陷，本發明采用的技術方案在于，提供一種關系完整性的數據質量檢測系統，其包括：元數據處理模塊，用于從待檢測數據所在的數據庫中讀取待檢測數據的邏輯數據結構，并通過用戶交互和自動檢測發現潛在的數據關系來生成關系完整性規則模板；模板處理模塊，用于在資源庫中存儲和提取所述元數據處理模塊得到的關系完整性規則模板；問題處理模塊，用于發現、展示和處理關系完整性數據問題。

較佳的，所述元數據處理模塊包括：數據模型提取單元，用于從待檢測數據所在的數據庫中讀取待檢測數據的邏輯數據結構，所述邏輯數據結構包括表結構和在數據庫中預定義的主外鍵約束；數據關系發現單元，用于通過用戶交互和自動檢測發現潛在的數據關系，并生成關系完整性規則模板。

較佳的，所述元數據處理模塊還包括如果所述數據模型提取單元提取出的數據模型已將主外鍵約束定義完整，則不需數據質量分析員指定各表的主外鍵，否則需對主外鍵進行指定，根據定義好的主外鍵自動發現實體之間的關系參與度和子類型，并由分析員在此基礎上進行修改或調整，得到關系完整性規則模板，在自動發現過程中，輸出每個外鍵字段的每個不同值對應的記錄編號的計數，根據記錄的最小和最大計數確定關系參與度，并掃描具有相同主鍵的數據表，確定潛在的父類型和子類型關系。

較佳的，所述模板處理模塊包括：模板存儲單元，用于將獲取的關系完整性規則模板存入資源庫，待后續有新增數據進入時使用；模板提取單元，用于在需要時從資源庫中提取關系完整性模板進行關系完整性檢測。