[發明專利]一種數據檢測方法和裝置

有效

• 申請號: 201611182307.3
• 申請日: 2016-12-19
• 公開（公告）號: CN108205570B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 李婧萱;譚衛國
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/21;G06K9/62
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

本申請實施例提供一種數據檢測方法和裝置，涉及大數據領域，能夠解決高維情況下不能檢測出錯誤數據和在定位錯誤數據的特征組合時的規則可擴展性差的問題。其方法為：服務器將多個數據聚類為簇，獲取各簇的關鍵特征和度量標準，以便根據各簇的關鍵特征和度量標準獲取多個數據屬于各簇的概率；然后，服務器可以根據多個數據分別屬于具有相同關鍵特征的多個簇的概率識別出多個簇下存在的錯誤數據，并且服務器從多個簇的關鍵特征開始搜索，以確定錯誤數據對應的特征組合。本申請實施例應用于對低維或高維的錯誤數據進行檢測和糾正的場景。

技術領域

本申請涉及大數據領域，尤其涉及一種數據檢測方法和裝置。

背景技術

大數據技術是一種可以從各種各樣類型的數據中，快速獲得有價值信息的技術。但是如果將錯誤的數據輸入計算機系統，計算機自然也只會輸出錯誤、無意義的結果，所以數據質量很重要。一般而言，導致某條數據錯誤的原因可分為兩類：第一是單個特征的取值錯誤。比如，某條用戶數據中有一維特征是“當月總流量”，其值為“200G”，明顯偏離一般情況。第二是多特征間的不一致問題。比如，某用戶數據的特征“城市”與“區域”的值分別為“深圳”、“故宮”。雖然“深圳”或“故宮”單獨而言，其取值不存在問題，但組合在一起后便出現矛盾——“故宮在深圳”與事實不相符。實際問題中，導致數據錯誤的原因多為后者。

要保證數據質量，首先要檢測出錯誤數據，現有技術中提出了一種聚類算法來檢測錯誤數據。其大概流程為：通過計算數據點到各聚類中心之間的距離，將數據劃分成不同的簇。對于到各聚類中心的距離遠大于閾值的離群點判定為錯誤數據。如圖1所示，被圈出的3個點就是離群點。

上述聚類算法擅長處理小規模數據與低維數據?？墒牵诖髷祿r代，隨處可見千萬級的海量數據與上萬級的高維數據。于是，隨著數據規模的增大，上述算法性能急劇下降；更嚴重的是遇到高維數據時，經典聚類算法容易失效。失效的主要原因是“維度災難”：由于高維數據分布的內在稀疏性，常用的距離度量和密度度量的有效性大大降低，數據點之間普遍存在“低相似性”。如圖2a所示，當維度較低時，現有技術中的聚類算法可以將錯誤數據F、D順利地檢測出來。但當維度較高后，如圖2b所示，該聚類算法無法將數據聚類成簇，所有數據都成為離群點，導致無法檢測出錯誤數據。

要保證數據質量，還需要在通過聚類算法檢測出錯誤數據后，進一步定位出導致其出錯的具體原因，并進行糾正?，F有技術在定位導致其出錯的具體原因前需要先找出錯誤的特征組合，這就需要先列舉出各種情況。比如，特征為城市、區域和終端品牌這3個特征的數據集有2³-1＝7種情況，分別是：(城市)、(區域)、(終端品牌)、(城市、區域)、(城市、終端品牌)、(區域、終端品牌)、(城市、區域、終端品牌)，此時間復雜度達到指數級別。列舉出各種情況以后需要再根據不同數據集重新定義規則用于檢驗。比如，通過設定檢驗條件“當月繳費金額”＝“基本月租”+(超額的)“通話時間”×A+(超額的)“短信數”×B；或者維護一個“城市”與“區域”對應關系的詞典等。對錯誤的特征組合進行糾正也類似，主要依靠各種預先定義了的規則。

實際問題中的特征總數很容易上萬，因此對有多個特征的數據集列舉出各種情況的效率極低。而且列舉出各種情況后重新定義規則的過程中，需要人為編寫規則，費時費力且成本高。與此同時，數據集的差異性導致規則較難復用，且依賴相應的領域知識，這就導致規則的可擴展性差。

發明內容

本申請實施例提供一種數據檢測方法和裝置，能夠解決高維情況下不能檢測出錯誤數據和在定位錯誤數據的特征組合時的規則可擴展性差的問題。