[發明專利]一種數據的檢錯方法及系統

有效

• 申請號: 201711417309.0
• 申請日: 2017-12-25
• 公開（公告）號: CN108154179B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 林文慧
• 申請（專利權）人: 北京潤科通用技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明公開了一種數據的檢錯方法和系統，所述方法包括：依據預設的確定規則，確定與目標數據關聯的各個字典；依據所述各個字典，對所述目標數據進行字典化處理，得到至少一個字典化特征向量；將所述字典化特征向量傳遞給依據預設的訓練規則訓練的分類器模型進行檢錯，實現對所述目標數據的檢錯。本發明提供的一種數據的檢錯方法和系統，采用維度相同的字典對所述目標數據進行字典化處理，將得到與所述目標數據對應的多個維度相同的字典化特征向量，將所述字典化特征向量傳遞給所述分類器模型進行檢錯，避免了現有技術中當原始數據中某些維度的特征缺失時，將相應維度的特征置零，導致的檢測準確性降低的問題。

技術領域

本發明涉及數據分析處理技術領域，尤其涉及一種數據的檢錯方法及系統。

背景技術

為了保證產品的性能，在產品研制過程中，都會采用該產品實際運行的原始數據對產品進行設計和調整，但是，由于原始數據的采集過程中采集設備故障或者運行異常等原因，會導致原始數據存在較大的誤差或者錯誤，為保證模擬的真實性都會對數據進行檢錯，濾除掉異常數據。依據該原始數據的特點，設計支持向量機SVM分類器模型，對原始數據進行特征提取，訓練SVM分類器模型，依據訓練完成的分類器模型對數據進行檢錯。

發明人對現有的數據的檢錯方法進行研究發現，基于SVM分類器模型的數據檢錯方法，需要輸入的特征向量的維度是固定的。而每一個原始數據的維度不是固定的，因此，為了滿足輸入維度固定的條件，在原始數據中某些維度的特征缺失時，將相應維度的特征置零。這樣簡單處理雖滿足了輸入維度固定的條件，但使得檢測準確性降低。

發明內容

有鑒于此，本發明提供了一種數據的檢錯方法及系統，用以解決現有技術依據SVM分類器模型進行數據檢錯時，為了滿足輸入維度固定的條件，在原始數據中某些維度的特征缺失時，將相應維度的特征置零，導致檢測準確性降低的問題。具體方案如下：

一種數據的檢錯方法，包括：

依據預設的確定規則，確定與目標數據關聯的各個字典；

依據所述各個字典，對所述目標數據進行字典化處理，得到至少一個字典化特征向量；

將所述字典化特征向量傳遞給依據預設的訓練規則訓練的分類器模型進行檢錯，實現對所述目標數據的檢錯。

上述的方法，優選的，依據預設的確定規則，確定與目標數據關聯的各個字典包括：

解析所述目標數據，得到與所述目標數據關聯的各個特征向量集文檔，每一個所述特征向量集文檔包含至少一個特征向量；

對每一個所述特征向量集文檔進行聚類分析，得到與所述特征向量集文檔關聯的字典；

當接收到對所述特征向量集文檔聚類分析的結束指令時，得到與所述目標數據關聯的各個字典。

上述的方法，優選的，對每一個所述特征向量集文檔進行聚類分析包括：

確定所述特征向量集文檔中的簇的數量，在所述特征向量集文檔中選取與所述簇的數量相同的特征向量作為第一簇中心；

將所述特征向量集文檔中的每一個特征向量分別與所述第一簇中心包含的特征向量進行相異度計算，得到第一相異度計算結果；

依據所述第一相異度計算結果調整所述第一簇中心的特征向量，得到第二簇中心；

將所述特征向量集文檔中的每一個特征向量分別與所述第二簇中心包含的特征向量進行相異度計算，得到第二相異度計算結果；

當所述第一相異度計算結果與所述第二相異度計算結果對應項的差值小于預設的分析閾值時，將所述第二簇中心包含的特征向量作為詞根，依據所述詞根構建字典。

上述的方法，優選的，依據所述各個字典，對所述目標數據進行字典化處理，得到至少一個字典化特征向量包括：