[發明專利]數據清洗方法、裝置、存儲介質及電子設備

在審

• 申請號: 202110659697.3
• 申請日: 2021-06-11
• 公開（公告）號: CN113342792A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 儲兵兵
• 申請（專利權）人: 北京小米移動軟件有限公司;北京小米松果電子有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06K9/62
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 盧夏子

1.一種數據清洗方法，其特征在于，所述方法包括：

獲取待清洗的多個樣本數據和每個所述樣本數據被標注的分類標簽；

將所述多個樣本數據等分為至少三個數據集；

依次將每個所述數據集作為測試集，并由除當前測試集之外的數據集中的樣本數據組成訓練集，將所述訓練集和所述測試集進行組合得到測試訓練集組，其中，不同的測試訓練集組包括不同的測試集和該測試集對應的訓練集；

針對每個所述測試訓練集組，通過該測試訓練集組中的訓練集對預設算法模型進行訓練，得到該測試訓練集組對應的分類預測模型，并依次將所述測試集中的每個所述樣本數據作為所述分類預測模型的輸入，輸出得到該樣本數據對應的分類預測結果；

根據每個樣本數據的所述分類預測結果和所述分類標簽，對所述多個樣本數據進行數據清洗；

將清洗后的數據作為目標分類模型的訓練樣本數據。

2.根據權利要求1所述的方法，其特征在于，所述分類預測結果包括至少一個分類預測標簽和每個所述分類預測標簽對應的預測概率，相應地，所述根據每個樣本數據的所述分類預測結果和所述分類標簽，對所述多個樣本數據進行數據清洗包括：

將至少一個所述分類預測標簽中，預測概率最大的分類預測標簽作為目標預測標簽；

在根據所述目標預測標簽確定所述樣本數據的分類標簽標注錯誤的情況下，根據標注錯誤的樣本數據清洗所述多個樣本數據。

3.根據權利要求2所述的方法，其特征在于，通過以下方式確定所述樣本數據的分類標簽標注錯誤：

在所述目標預測標簽與標注的所述分類標簽不同的情況下，確定所述樣本數據的分類標簽標注錯誤。

4.根據權利要求3所述的方法，其特征在于，所述確定所述樣本數據的分類標簽標注錯誤包括：

在所述目標預測標簽對應的預測概率大于或者等于預設概率閾值的情況下，確定所述待清洗樣本數據的分類標簽標注錯誤。

5.根據權利要求1至4任一項所述的方法，其特征在于，所述待清洗的樣本數據的數量與所述數據集的數量的差值大于或者等于預設差值閾值。

6.一種數據清洗裝置，其特征在于，所述裝置包括：

獲取模塊，被配置為獲取待清洗的多個樣本數據和每個所述樣本數據被標注的分類標簽；

劃分模塊，被配置為將所述多個樣本數據劃分為至少三個數據集；

生成模塊，被配置為依次將每個所述數據集作為測試集，并由除當前測試集之外的數據集中的樣本數據組成訓練集，將所述訓練集和所述測試集進行組合得到測試訓練集組，其中，不同的測試訓練集組包括不同的測試集和該測試集對應的訓練集；

預測模塊，被配置為針對每個所述測試訓練集組，通過該測試訓練集組中的訓練集對預設算法模型進行訓練，得到該測試訓練集組對應的分類預測模型，并依次將所述測試集中的每個所述樣本數據作為所述分類預測模型的輸入，輸出得到該樣本數據對應的分類預測結果；

清洗模塊，被配置為根據每個樣本數據的所述分類預測結果和所述分類標簽，對所述多個樣本數據進行數據清洗；

確定模塊，被配置為將清洗后的數據作為目標分類模型的訓練樣本數據。

7.根據權利要求6所述的裝置，其特征在于，所述分類預測結果包括至少一個分類預測標簽和每個所述分類預測標簽對應的預測概率，所述清洗模塊被配置為：

將至少一個所述分類預測標簽中，預測概率最大的分類預測標簽作為目標預測標簽；

在根據所述目標預測標簽確定所述樣本數據的分類標簽標注錯誤的情況下，根據標注錯誤的樣本數據清洗所述多個樣本數據。

8.根據權利要求7所述的裝置，其特征在于，通過以下方式確定所述樣本數據的分類標簽標注錯誤：

在所述目標預測標簽與標注的所述分類標簽不同的情況下，確定所述樣本數據的分類標簽標注錯誤。