[發明專利]一種數據質量問題報告系統

有效

• 申請號: 201710228090.3
• 申請日: 2017-04-07
• 公開（公告）號: CN107193868B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 單小紅;麻建;吳劍文;何偉潮
• 申請（專利權）人: 廣東精點數據科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 重慶強大凱創專利代理事務所(普通合伙) 50217
• 代理人: 隋金艷;陳家輝

本專利申請公開了一種數據質量問題報告系統，包括元數據處理模塊，用來從數據源中提取并定義待檢測數據源的邏輯數據模型和主題域；模板處理模塊，用來從元數據處理模塊中獲取已經定義好的邏輯數據模型和主題域分別存儲并形成邏輯數據模型模板和主題域模板；報告處理模塊，用來從數據質量問題檢測系統中獲取質量問題，從元數據處理模塊中獲取定義好的邏輯數據模型和主題域，從模板處理模塊中獲取邏輯數據模型模板和主題域模板；按照邏輯數據模型和主題域定義質量問題形成并顯示數據質量問題報告。本申請能夠通過多種不同方式組織出滿足用戶需求的數據質量問題報告。

技術領域

本發明涉及數據質量監控領域，具體涉及一種用于ETL過程的數據質量問題報告系統。

背景技術

信息技術的快速發展使得數據逐漸成為實現企業業務價值最重要的資源之一。然而，隨著數據量的不斷增大，數據質量問題也隨之而來。數據缺失、錯誤、不一致等質量問題使企業對數據的準確應用受到阻礙，嚴重的甚至會導致企業做出錯誤決策，損失重要價值進而引發信任危機。

我們稱這些有質量問題的數據為臟數據，針對這些臟數據，許多數據質量檢測和數據清洗方案應運而生。然而，無論是對于數據質量檢測方案還是數據清洗方案而言，數據質量問題的展示報告都是一個不容忽視的挑戰。

首先，每一次執行數據質量檢測方案時，都有大量數據質量問題出現，這些質量問題如不經過整理就直接呈現在用戶面前很容易導致混亂和理解困難。其次，這些數據往往經過一次微小改動就會全部解決，但這些數據卻被重復標注為多種數據質量問題，致使得出的質量問題報告過于冗長，甚至可能因為重復標注而錯估數據源的數據質量問題級別。最后，數據質量檢測方案和數據清洗方案得到的是所有數據的質量問題，然而在某些情況下，不同的用戶更關心特定主題數據的質量問題，而不是某張表、某個數據庫的質量問題。

為了解決數據質量問題的展示報告問題，專門針對數據質量問題展示及報告的數據質量問題報告系統應運而生。

現有比較常用的數據質量報告系統以工作流的方式檢測數據質量問題，導出的問題報告用工作流中檢測不同質量問題的各個組件來劃分問題的類別，這種分類方式過于死板，不能靈活地處理不同的業務數據，對于數據量過大數據種類繁雜的情況，通過固有的組件分類也不利于錯誤數據的細分和理解。而其他的數據質量報告系統雖然可以對不同類型的數據質量問題進行編號和注釋，但仍沒有解決同一數據經過多次標注數據主題，造成工作量大且報告冗長的問題。此外，現有的數據質量問題報告系統也不能按照用戶需求進行指定質量問題的問題展示。

發明內容

本發明意在提供一種可以用不同的方式組織有數據質量問題的數據，滿足使用不同數據主題的用戶的需求的數據質量問題報告系統。

為解決以上問題，提供如下方案：

方案一：本方案中的數據質量問題報告系統，包括

元數據處理模塊，用來從數據源中提取并定義待檢測數據源的邏輯數據模型和主題域；

模板處理模塊，用來從元數據處理模塊中獲取已經定義好的邏輯數據模型和主題域分別存儲并形成邏輯數據模型模板和主題域模板；

報告處理模塊，用來從數據質量問題檢測系統中獲取質量問題，從元數據處理模塊中獲取定義好的邏輯數據模型和主題域，從模板處理模塊中獲取邏輯數據模型模板和主題域模板；按照邏輯數據模型和主題域定義質量問題形成并顯示數據質量問題報告。

工作原理及有益效果：