[發明專利]一種數據質量檢測方法和裝置

在審

• 申請號: 201711044727.X
• 申請日: 2017-10-31
• 公開（公告）號: CN107895003A
• 公開（公告）日: 2018-04-10
• 發明（設計）人: 王洪添;黃河潮
• 申請（專利權）人: 山東浪潮云服務信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 李世喆

1.一種數據質量檢測方法，其特征在于，預先設置至少兩種數據標準，還包括：

獲取待檢測數據表；

在所述至少兩種數據標準中確定至少兩種目標數據標準；

針對每一種所述目標數據標準，均執行：利用當前目標數據標準對所述待檢測數據表進行數據質量檢測；

根據各個所述目標數據標準對應的檢測結果，生成至少一個數據檢測報告。

2.根據權利要求1所述的數據質量檢測方法，其特征在于，

所述數據標準，包括：字段標準、數據元標準、數據表標準、約束規則、數據字典、敏感字段、黑名單和白名單中任意一種或多種的組合。

3.根據權利要求1所述的數據質量檢測方法，其特征在于，

所述數據檢測報告分為完整性報告、規范性報告、一致性報告、準確性報告、唯一性報告、關聯性報告、安全性報告。

4.根據權利要求1-3中任一所述的數據質量檢測方法，其特征在于，

所述當前目標數據標準為約束規則；

所述約束規則包括：等于規則、截取自規則和合并自規則；

所述利用當前目標數據標準對所述待檢測數據表進行數據質量檢測，包括：

利用所述等于規則判斷所述待檢測數據表中的目標字段是否與預先設置的第一標準字段相同，利用所述截取自規則判斷所述待檢測數據表中的目標字段是否截取自所述第一標準字段，利用所述合并自規則判斷所述待檢測數據表中的目標字段是否為所述第一標準字段和預先設置的第二標準字段的組合。

5.一種數據質量檢測裝置，其特征在于，包括：

設置單元，用于設置至少兩種數據標準；

確定單元，用于獲取待檢測數據表，在所述設置單元設置的所述至少兩種數據標準中確定至少兩種目標數據標準；

檢測單元，用于針對所述確定單元確定的每一種所述目標數據標準，均執行：利用當前目標數據標準對所述待檢測數據表進行數據質量檢測；

生成單元，用于根據各個所述目標數據標準對應的檢測結果，生成至少一個數據檢測報告。

6.根據權利要求5所述的數據質量檢測裝置，其特征在于，

所述數據標準，包括：字段標準、數據元標準、數據表標準、約束規則、數據字典、敏感字段、黑名單和白名單中任意一種或多種的組合。

7.根據權利要求5所述的數據質量檢測裝置，其特征在于，

所述數據檢測報告分為完整性報告、規范性報告、一致性報告、準確性報告、唯一性報告、關聯性報告、安全性報告。

8.根據權利要求5-7中任一所述的數據質量檢測裝置，其特征在于，

所述當前目標數據標準為約束規則；

所述約束規則包括：等于規則、截取自規則和合并自規則；

所述檢測單元，用于利用所述等于規則判斷所述待檢測數據表中的目標字段是否與預先設置的第一標準字段相同，利用所述截取自規則判斷所述待檢測數據表中的目標字段是否截取自所述第一標準字段，利用所述合并自規則判斷所述待檢測數據表中的目標字段是否為所述第一標準字段和預先設置的第二標準字段的組合。

9.一種可讀介質，其特征在于，包括執行指令，當存儲控制器的處理器執行所述執行指令時，所述存儲控制器執行權利要求1-4中任一所述的方法。

10.一種存儲控制器，其特征在于，包括：處理器、存儲器和總線；

所述存儲器用于存儲執行指令，所述處理器與所述存儲器通過所述總線連接，當所述存儲控制器運行時，所述處理器執行所述存儲器存儲的所述執行指令，以使所述存儲控制器執行權利要求1-4中任一所述的方法。