[發明專利]一種基于Hadoop的數據質量探查系統

在審

• 申請號: 202011354092.5
• 申請日: 2020-11-27
• 公開（公告）號: CN112527783A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 陳輝;徐云龍;姚伯祥;王海榮
• 申請（專利權）人: 中科曙光南京研究院有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F16/25
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 李靜

本發明公開了一種基于Hadoop的數據質量探查系統，包括數據質量檢測、檢測結果統計分析和檢測過程監控模塊；所述數據質量檢測模塊包括多源數據的匯聚、數據基礎探查和數據自定義探查組件，負責將需要質量檢測的數據匯聚到大數據集群中后，對全數據資源和全字段進行探查，再根據實際業務需要及數據特點，自定義地配置數據探查規則，并統計出相應的探查結果；所述檢測結果統計分析模塊負責查看單個數據目錄的檢測結果和全局數據資源數據質量分析；所述檢測過程監測模塊負責對數據檢測任務進行統一管理、對數據檢測任務進行控制和任務執行概況統計。本發明所述數據質量探查系統可對多種類型數據庫數據進行數據質量檢測并可配置檢測規則和周期。

技術領域

本發明涉及一種數據質量探查系統，屬于計算機領域。

背景技術

隨著社會各個行業信息化的不斷建設，當前已形成有一定規模的數據。對于這些繁雜的數據，當前主流的方法是首選將這些多源數據進行匯聚，統一存儲在一個大數據集群環境中，進行統一的管理和對外共享分發，即數據管理中心。多源數據包括mysql、oracle、db2、hive、PostgreSQL等各類的數據處理系統。當前對于匯聚而來的數據，普遍只能保證源數據庫中的數據能夠完整的復制到數據管理中心。但無法對源數據庫提供的數據，其數據的質量進行識別、判斷和監控。也就造成數據管理中心無法對上報而來的數據質量進行有效的管控，間接的造成數據可用性較低。無法將數據價值發揮到最大。

發明內容

發明目的：本發明旨在提供一種可對匯聚的數據質量進行檢測，掌控數據整體質量的數據質量探查系統。

技術方案：本發明的所述的數據質量探查系統，包括數據質量檢測模塊、檢測結果統計分析模塊和檢測過程監控模塊。

所述數據質量檢測模塊包括多源數據的匯聚組件、數據基礎探查組件和數據自定義探查組件，將需要質量檢測的數據匯聚到大數據集群中后，對全數據資源、全字段進行探查，再根據實際業務需要及數據特點，自定義地配置數據探查規則，并統計出相應的探查結果。

所述檢測結果統計分析模塊負責查看單個數據目錄的檢測結果和全局數據資源數據質量分析。

所述檢測過程監測模塊負責對數據檢測任務進行統一管理、對數據檢測任務進行控制和任務執行概況統計。

所述多元數據的匯聚組件包括數據源管理組件、數據采集組件和數據倉庫管理組件，將各類關系型數據庫和非關系型數據庫中的數據統一匯聚到Hive數據庫中。

所述數據源管理組件對數據的來源進行管理，組件內部維護著包括數據源的詳細信息，包括數據源的名稱、類別(如數據庫、文件和遠程地址)、注冊時間、ip地址、數據庫類型、實例名、用戶名、密碼、數據庫版本等。

所述數據采集組件根據需求對數據源中數據進行采集抽取，數據采集組件根據數據源管理組件的信息，動態組織數據源連接信息，并動態選擇對應數據源的JDBC驅動進行數據源連接，展示該數據源下所有的用戶域、數據域和數據表信息。

所述數據倉庫管理組件對已采集的數據統一管理，并以樹的形式圖形化展示hive中數據目錄結構，在每一個具體目錄下保存對應具體數據表。

所述數據源管理組件在組成新的數據源時，將依據已填寫的數據源信息嘗試連接該數據源并進行有效性判別，若連接成功，則該數據源將被判別為有效數據源，并進行保存；若連接失敗，則該數據源將判別為無效數據源，無法進行保存。

所述數據采集組件的數據采集方式包括不更新、增量更新和全量更新，所述增量更新需要選擇數據表中的更新字段，因更新字段必須為可進行數值比較的類型，故字段類型必須為int或date類型。針對sqoop執行的周期，可進行配置，基于cron表達式實現年、月、周、日、小時、分鐘、秒的周期性執行配置。