[發明專利]數據篩選方法和裝置、計算機可讀存儲介質、電子設備

在審

• 申請號: 202110364631.1
• 申請日: 2021-04-06
• 公開（公告）號: CN112801226A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 江霜艷;鄧周;楊蘊凱
• 申請（專利權）人: 貝殼找房（北京）科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06F16/2458
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種數據篩選方法，其特征在于，包括：

基于目標分類網絡對訓練數據集中包括的多個訓練數據進行類別預測，得到多個第一預測分類結果；其中，所述第一預測分類結果對應多個類別；

基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集確定所述多個類別中每個類別對應的增益值；

基于所述目標分類網絡對生數據集中包括的多個生數據進行類別預測，得到多個第二預測分類結果；

基于所述多個第二預測分類結果和所述每個類別對應的增益值，從所述生數據集中確定目標生數據集。

2.根據權利要求1所述的方法，其特征在于，所述基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集確定所述多個類別中每個類別對應的增益值，包括：

基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集獲得增益相關信息；其中，所述驗證數據集中包括多個驗證分類結果，每個所述驗證分類結果對應一個第一預測分類結果；所述增益相關信息包括：每個類別的精確率、每個類別的召回率和每個類別的支持度；

基于所述每個類別的精確率和所述每個類別的召回率，確定每個類別的F1值；

基于所述每個類別的F1值和所述每個類別的支持度，確定所述多個類別中每個類別對應的增益值。

3.根據權利要求1或2所述的方法，其特征在于，所述基于所述目標分類網絡對生數據集中包括的多個生數據進行類別預測，得到多個第二預測分類結果，包括：

針對所述多個生數據中的每個生數據，基于所述目標分類網絡對所述生數據進行類別預測，得到所述生數據對應所述多個類別中每個類別的概率值；

基于所述每個類別對應的概率值，基于所述概率值最大的類別確定所述生數據對應的所述第二預測分類結果。

4.根據權利要求3所述的方法，其特征在于，在基于所述每個類別對應的概率值，基于所述概率值最大的類別確定所述生數據對應的所述第二預測分類結果之后，還包括：

基于每個所述生數據對應的所述每個類別的概率值，確定每個所述生數據對應的熵值；

在基于所述多個第一預測分類結果和所述訓練數據集對應的驗證數據集確定所述多個類別中每個類別對應的增益值之后，還包括：

基于所述每個類別對應的增益值對所述多個類別進行排序，確定所述增益值最大的k個類別構成目標類別集；其中，所述k為大于1的整數。

5.根據權利要求4所述的方法，其特征在于，所述基于所述多個第二預測分類結果和所述每個類別對應的增益，從所述生數據集中確定目標生數據集，包括：

基于所述多個第二預測分類結果和所述每個類別對應的增益，根據第一篩選策略從所述生數據集中確定第一數據集；

基于所述多個第二預測分類結果，根據第二篩選策略從所述生數據集中確定第二數據集；

基于所述第一數據集和所述第二數據集，確定所述目標生數據集。

6.根據權利要求5所述的方法，其特征在于，所述基于所述多個第二預測分類結果和所述每個類別對應的增益，根據第一篩選策略從所述生數據集中確定第一數據集，包括：

確定所述第二預測分類結果屬于所述目標類別集的至少一個所述生數據，得到初篩數據集；

基于所述初篩數據集中每個所述生數據對應的熵值，從所述初篩數據集中確定所述熵值大于設定熵值的至少一個生數據，得到二次篩選數據集；

基于所述二次篩選數據集中每個生數據對應的所述第二預測分類結果對應的概率值，從所述二次篩選數據集中確定所述概率值小于預設概率值的至少一個第二預測分類結果；

基于所述概率值小于預設概率值的至少一個第二預測分類結果對應的生數據構成所述第一數據集。

7.根據權利要求5所述的方法，其特征在于，所述基于所述多個第二預測分類結果，根據第二篩選策略從所述生數據集中確定第二數據集，包括：

基于每個所述第二預測分類結果對應的支持度，從所述多個第二預測分類結果中確定所述支持度大于設定支持度的至少一個第二預測分類結果；

基于所述支持度大于設定支持度的至少一個第二預測分類結果對應的生數據構成所述第二數據集。