[發明專利]一種數據質量管理方法及其系統

在審

• 申請號: 202110082885.4
• 申請日: 2021-01-21
• 公開（公告）號: CN112667624A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 劉燦城;黃永剛;林喬;盧建華
• 申請（專利權）人: 廈門信息集團大數據運營有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F21/62
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶

本發明公開了一種數據質量管理方法及其系統，所述方法包括以步驟：S1、確定數據質量標準；S2、采集數據；S3、數據清洗；S4、數據脫敏：對數據中靜態數據和動態數據的敏感信息通過脫敏規則分別對數據進行分級脫敏；S5、數據顯示：根據用戶的類型顯示相對應的脫敏數據。本發明方法對數據進行分級脫敏，再根據用戶的類型顯示不同程度的脫敏數據，在保護數據隱私的同時，最大化數據的開發價值。

技術領域

本發明涉及數據管理技術領域，特別涉及一種數據質量管理方法及其系統。

背景技術

數據質量管理是指對數據生命周期的各個階段可能引發的各類數據質量問題，進行識別、度量、監控、預警等一些了管理活動，并通過改善和提高組織的管理水平使得數據質量獲得進一步提高。從外部獲取的源數據種類繁多，數據質量參差不齊，包含了大量的臟數據和異常數據，而這部分數據對于實際的數據開發不但沒有幫助，反而拖垮了數據的利用率，因此，在數據使用之前需要對數據的質量進行管理。

發明內容

為解決上述問題，本發明提供了一種數據質量管理方法及其系統。

本發明采用以下技術方案：

一種數據質量管理方法，包括以下步驟：

S1、確定數據質量標準；

S2、采集數據：根據數據標準建立前置數據庫，通過數據采集接口將外部數據按照數據標準映射到所述前置數據庫；

S3、數據清洗：對源數據進行清洗，剔除臟數據；

S4、數據脫敏：對數據中靜態數據和動態數據的敏感信息通過脫敏規則分別對數據進行分級脫敏；

S5、數據顯示：根據用戶的類型顯示相對應的脫敏數據。

進一步地，所述數據質量標準包括：準確性、完整性、一致性、有效性、唯一性、及時性和穩定性。

進一步地，所述前置數據庫采用Oracle數據庫結構。

進一步地，所述數據采集接口調用外部數據時采用GET請求方式，并使用HTTPS技術協議進行接口交互。

進一步地，所述數據清洗包括檢查數據的一致性、剔除無效值和缺失值。

進一步地，所述靜態數據采用Flume系統進行批量脫敏。

進一步地，所述動態數據采用Spark Streaming系統進行脫敏。

進一步地，所述脫敏規則包括同義替換、部分數據遮蔽、混合屏蔽、確定性屏蔽和可逆脫敏。

進一步地，所述用戶的類型包括：開發人員、管理員、高級用戶和普通用戶，對于開發人員和管理人員則顯示可逆脫敏的數據；對于高級用戶則顯示部分數據遮蔽和確定性遮蔽的數據；對于普通用戶則顯示同意替換和確定性屏蔽的數據。

一種數據質量管理系統，包括數據采集單元、質量規則單元、數據清洗單元、數據脫敏單元以及數據顯示單元，

所述數據采集單元，通過數據采集接口采集源數據并進行存儲；

所述質量規則單元，更新和存儲數據質量指標及其標準數值；

所述數據清洗單元，根據所述質量規則單元的質量指標利用清洗規則對源數據進行清洗；

所述數據脫敏單元，更新和存儲脫敏規則以及對應的客戶類型，根據脫敏規則和對應的客戶類型進行不同程度的數據脫敏；

所述數據顯示單元，根據不同類型的客戶顯示不同程度的數據脫敏結果。

采用上述技術方案后，本發明與背景技術相比，具有如下優點：