[發明專利]一種數據質量管理方法及其系統

在審

• 申請號: 202110082885.4
• 申請日: 2021-01-21
• 公開（公告）號: CN112667624A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 劉燦城;黃永剛;林喬;盧建華
• 申請（專利權）人: 廈門信息集團大數據運營有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F21/62
• 代理公司: 廈門致群財富專利代理事務所(普通合伙) 35224
• 代理人: 劉兆慶

1.一種數據質量管理方法，其特征在于：包括以下步驟：

S1、確定數據質量標準；

S2、采集數據：根據數據標準建立前置數據庫，通過數據采集接口將外部數據按照數據標準映射到所述前置數據庫；

S3、數據清洗：對源數據進行清洗，剔除臟數據；

S4、數據脫敏：對數據中靜態數據和動態數據的敏感信息通過脫敏規則分別對數據進行分級脫敏；

S5、數據顯示：根據用戶的類型顯示相對應的脫敏數據。

2.如權利要求1所述的一種數據質量管理方法，其特征在于：所述數據質量標準包括：準確性、完整性、一致性、有效性、唯一性、及時性和穩定性。

3.如權利要求2所述的一種數據質量管理方法，其特征在于：所述前置數據庫采用Oracle數據庫結構。

4.如權利要求3所述的一種數據質量管理方法，其特征在于：所述數據采集接口調用外部數據時采用GET請求方式，并使用HTTPS技術協議進行接口交互。

5.如權利要求4所述的一種數據質量管理方法，其特征在于：所述數據清洗包括檢查數據的一致性、剔除無效值和缺失值。

6.如權利要求5所述的一種數據質量管理方法，其特征在于：所述靜態數據采用Flume系統進行批量脫敏。

7.如權利要求6所述的一種數據質量管理方法，其特征在于：所述動態數據采用SparkStreaming系統進行脫敏。

8.如權利要求7所述的一種數據質量管理方法，其特征在于：所述脫敏規則包括同義替換、部分數據遮蔽、混合屏蔽、確定性屏蔽和可逆脫敏。

9.如權利要求8所述的一種數據質量管理方法，其特征在于：所述用戶的類型包括：開發人員、管理員、高級用戶和普通用戶，對于開發人員和管理人員則顯示可逆脫敏的數據；對于高級用戶則顯示部分數據遮蔽和確定性遮蔽的數據；對于普通用戶則顯示同意替換和確定性屏蔽的數據。

10.一種數據質量管理系統，其特征在于：包括數據采集單元、質量規則單元、數據清洗單元、數據脫敏單元以及數據顯示單元，

所述數據采集單元，通過數據采集接口采集源數據并進行存儲；

所述質量規則單元，更新和存儲數據質量指標及其標準數值；

所述數據清洗單元，根據所述質量規則單元的質量指標利用清洗規則對源數據進行清洗；

所述數據脫敏單元，更新和存儲脫敏規則以及對應的客戶類型，根據脫敏規則和對應的客戶類型進行不同程度的數據脫敏；

所述數據顯示單元，根據不同類型的客戶顯示不同程度的數據脫敏結果。