[發明專利]數據質量檢測方法、裝置及存儲介質在審
| 申請號： | 201811373534.3 | 申請日： | 2018-11-19 |
| 公開（公告）號： | CN109656812A | 公開（公告）日： | 2019-04-19 |
| 發明（設計）人： | 袁泉 | 申請（專利權）人： | 平安科技（深圳）有限公司 |
| 主分類號： | G06F11/36 | 分類號： | G06F11/36;G06F16/215 |
| 代理公司： | 深圳市沃德知識產權代理事務所(普通合伙) 44347 | 代理人： | 高杰;于志光 |
| 地址： | 518000 廣東省深圳市福田區福*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 數據質量檢測 待檢測數據 檢測 匹配 計算機可讀存儲介質 存儲介質 內容數據 匹配規則 時間成本 預先建立 大數據 規則庫 數據源 元數據 預設 自動化 | ||
1.一種數據質量檢測方法，應用于電子裝置，其特征在于，該方法包括：
獲取步驟：從數據源中獲取至少一條待檢測數據，其中，每條待檢測數據包括內容數據和元數據；
匹配步驟：根據預設的匹配規則在預先建立的檢測規則庫中為所述每條待檢測數據匹配至少一條檢測規則；及
檢測步驟：利用匹配的檢測規則對所述待檢測數據進行檢測，得到數據質量檢測結果。
2.如權利要求1所述的數據質量檢測方法，其特征在于，所述元數據包括該條待檢測數據的重要程度、默認值、時間戳、所屬字段以及該字段的數據類型中的一種或多種。
3.如權利要求2所述的數據質量檢測方法，其特征在于，該方法還包括：
將屬于同一字段的待檢測數據歸為一個待檢測數據組，為每個待檢測數據組中的待檢測數據統一匹配檢測規則。
4.如權利要求1所述的數據質量檢測方法，其特征在于，所述檢測規則為基于MapReduce的并行化檢測規則，每個檢測規則包括規則名稱、規則描述和預期結果。
5.如權利要求1所述的數據質量檢測方法，其特征在于，所述檢測步驟還包括：
若所述數據質量檢測結果為異常且數據異常率大于預設告警閾值，則以預設方式對異常問題發出警示。
6.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中包括數據質量檢測程序，該數據質量檢測程序被所述處理器執行時實現如下步驟：
獲取步驟：從數據源中獲取至少一條待檢測數據，其中，每條待檢測數據包括內容數據和元數據；
匹配步驟：根據預設的匹配規則在預先建立的檢測規則庫中為所述每條待檢測數據匹配至少一條檢測規則；及
檢測步驟：利用匹配的檢測規則對所述待檢測數據進行檢測，得到數據質量檢測結果。
7.如權利要求6所述的電子裝置，其特征在于，所述元數據包括該條待檢測數據的重要程度、默認值、時間戳、所屬字段以及該字段的數據類型中的一種或多種。
8.如權利要求6所述的電子裝置，其特征在于，所述數據質量檢測程序被所述處理器執行時還實現如下步驟：
將屬于同一字段的待檢測數據歸為一個待檢測數據組，為每個待檢測數據組中的待檢測數據統一匹配檢測規則。
9.如權利要求6至8中任意一項所述的電子裝置，其特征在于，所述檢測規則為基于MapReduce的并行化檢測規則，每個檢測規則包括規則名稱、規則描述和預期結果。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中包括數據質量檢測程序，該數據質量檢測程序被處理器執行時實現如權利要求1至5中任意一項所述的數據質量檢測方法的步驟。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于平安科技（深圳）有限公司，未經平安科技（深圳）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201811373534.3/1.html，轉載請聲明來源鉆瓜專利網。
