[發明專利]一種基于深度學習的數據清洗方法

有效

• 申請號: 202110382370.6
• 申請日: 2021-04-09
• 公開（公告）號: CN113033694B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 程敏;尹帥
• 申請（專利權）人: 深圳億嘉和科技研發有限公司
• 主分類號: G06V10/72
• 分類號: G06V10/72;G06V10/774;G06V10/764;G06V10/82
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 梁天彥

1.一種基于深度學習的數據清洗方法，其特征在于：包括步驟：

(1)獲取不同類別的原始圖像數據形成原始圖像數據集，等分成若干子集，并分別以各個子集構建相應的圖像分類模型；

(2)采用步驟(1)得到的各個圖像分類模型對原始圖像數據集中每個圖像進行類別預測，分別得到相應類別及其分數，并計算得到相應圖像分類模型的類別預測分數的標準差，并將其與設定閾值比對，若小于設定閾值，則該圖像分類模型所對應的子集定義為正常圖像數據集，否則定義為異常圖像數據集；其中相應類別的分數表示圖像分類模型對某一圖像的類別預測為該類別的概率；

(3)以步驟(2)得到的正常圖像數據集作為基準圖像數據集，并按照簡單隨機抽樣的方式生成訓練集和檢驗集，基于深度學習的圖像分類算法通過訓練集訓練得到相應的圖像分類模型作為基準圖像分類模型，并通過檢驗集計算該基準圖像分類模型的分類準確率作為基準分類準確率；

(4)將步驟(2)得到的異常圖像數據集等分成N份圖像數據集，將其中一份放入正常圖像數據集中形成新的圖像數據集，依照步驟(3)的方法構建相應的圖像分類模型，并計算圖像分類模型的分類準確率與基準分類準確率比對，若低于基準分類準確率，則將該份圖像數據集刪掉；若高于基準分類準確率，則保留該份圖像數據集并作為正常圖像數據集，重復本步驟直至所有圖像數據集處理完畢；

(5)將所有的正常圖像數據集的圖像匯總，得到有效圖像集合。

2.根據權利要求1所述的數據清洗方法，其特征在于：所述步驟(1)中，利用網絡爬蟲技術或者通過人工網絡搜索搜集得到不同類別的原始圖像數據形成原始圖像數據集。

3.根據權利要求1所述的數據清洗方法，其特征在于：所述步驟(1)中，對所述原始圖像數據集的每個圖像定義標簽，并依據該標簽及圖像的相應類別構建索引。

4.根據權利要求1所述的數據清洗方法，其特征在于：所述步驟(1)、(3)、(4)中，構建相應的圖像分類模型具體為：

(11)對圖像數據集采用簡單隨機抽樣的方式，以8：2的比例生成訓練集和檢驗集，得到相應的圖像樣本數據；

(12)基于深度學習的圖像分類算法根據圖像類別在相應的訓練集訓練得到相應的圖像分類模型，并通過對應的檢驗集進行檢驗以優化圖像分類模型。

5.根據權利要求4所述的數據清洗方法，其特征在于：所述步驟(12)中，圖像分類算法采用ResNet、VGG-16或GoogLeNet。

6.根據權利要求1所述的數據清洗方法，其特征在于：所述步驟(2)中，設定閾值為0.1～0.3。

7.根據權利要求1所述的數據清洗方法，其特征在于：所述步驟(3)中，所述分類準確率Accuracy的計算公式為：

Accuracy＝N_acc/N_total

其中，N_acc為檢驗集中預測類別和真實類別一致的樣本數量，N_total為樣本總量。