[發明專利]數據篩選方法和裝置、計算機可讀存儲介質、電子設備

在審

• 申請號: 202110364631.1
• 申請日: 2021-04-06
• 公開（公告）號: CN112801226A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 江霜艷;鄧周;楊蘊凱
• 申請（專利權）人: 貝殼找房（北京）科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06F16/2458
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本公開實施例公開了一種數據篩選方法和裝置、計算機可讀存儲介質、電子設備，其中，方法包括：基于目標分類網絡對訓練數據集中包括的多個訓練數據進行類別預測，得到多個第一預測分類結果；基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集確定所述多個類別中每個類別對應的增益值；基于所述目標分類網絡對生數據集中包括的多個生數據進行類別預測，得到多個第二預測分類結果；基于所述多個第二預測分類結果和所述每個類別對應的增益，從所述生數據集中確定目標生數據集；本實施例通過結合類別增益獲得目標生數據集，克服了定向選擇某一類別的數據導致的數據失衡的問題，提高了獲得的生數據的多樣性和針對性。

技術領域

本公開涉及數據處理技術，尤其是一種數據篩選方法和裝置、計算機可讀存儲介質、電子設備。

背景技術

對于神經網絡的訓練需要大量標注數據，為在保證神經網絡精度不降低的情況下盡可能的降低人工的標注成本。通過迭代方式在樣本集中挑選能夠最大程度提升模型效果和泛化能力的樣本，由標注專家進行標注。不確定度采樣（Uncertainty Sampling）是最為廣泛的一種查詢策略（query strategy），其主要是將模型“最易混淆”或“信息量”最大、最有價值的樣本返回給專家（expert），以期獲得較大的增益。

發明內容

為了解決上述技術問題，提出了本公開。本公開的實施例提供了一種數據篩選方法和裝置、計算機可讀存儲介質、電子設備。

根據本公開實施例的一個方面，提供了一種數據篩選方法，包括：

基于目標分類網絡對訓練數據集中包括的多個訓練數據進行類別預測，得到多個第一預測分類結果；其中，所述第一預測分類結果對應多個類別；

基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集確定所述多個類別中每個類別對應的增益值；

基于所述目標分類網絡對生數據集中包括的多個生數據進行類別預測，得到多個第二預測分類結果；

基于所述多個第二預測分類結果和所述每個類別對應的增益，從所述生數據集中確定目標生數據集。

可選地，所述基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集確定所述多個類別中每個類別對應的增益值，包括：

基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集獲得增益相關信息；其中，所述驗證數據集中包括多個驗證分類結果，每個所述驗證分類結果對應一個第一預測分類結果；所述增益相關信息包括：每個類別的精確率、每個類別的召回率和每個類別的支持度；

基于所述每個類別的精確率和所述每個類別的召回率，確定每個類別的F1值；

基于所述每個類別的F1值和所述每個類別的支持度，確定所述多個類別中每個類別對應的增益值。

可選地，所述基于所述目標分類網絡對生數據集中包括的多個生數據進行類別預測，得到多個第二預測分類結果，包括：

針對所述多個生數據中的每個生數據，基于所述目標分類網絡對所述生數據進行類別預測，得到所述生數據對應所述多個類別中每個類別的概率值；

基于所述每個類別對應的概率值，基于所述概率值最大的類別確定所述生數據對應的所述第二預測分類結果。

可選地，在基于所述每個類別對應的概率值，基于所述概率值最大的類別確定所述生數據對應的所述第二預測分類結果之后，還包括：

基于每個所述生數據對應的所述每個類別的概率值，確定每個所述生數據對應的熵值；

在基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集確定所述多個類別中每個類別對應的增益值之后，還包括：

基于所述每個類別對應的增益值對所述多個類別進行排序，確定所述增益值最大的k個類別構成目標類別集；其中，所述k為大于1的整數。

可選地，所述基于所述多個第二預測分類結果和所述每個類別對應的增益，從所述生數據集中確定目標生數據集，包括：