[發(fā)明專利]數(shù)據(jù)篩選方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110644004.3
• 申請日: 2021-06-09
• 公開（公告）號: CN113378921A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計）人: 王鵬;謝群義;欽夏孟;姚錕
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 王萌

本申請公開了一種數(shù)據(jù)篩選方法、裝置及電子設(shè)備，涉及人工智能技術(shù)領(lǐng)域，具體涉及計算機視覺和深度學(xué)習(xí)技術(shù)領(lǐng)域。具體實現(xiàn)方案為：獲取包括多個樣本數(shù)據(jù)及每個樣本數(shù)據(jù)對應(yīng)的第一預(yù)測結(jié)果的待標(biāo)注樣本數(shù)據(jù)集；對每個第一預(yù)測結(jié)果進行編碼，以生成每個第一預(yù)測結(jié)果的第一編碼數(shù)據(jù)；將每個第一編碼數(shù)據(jù)輸入預(yù)設(shè)的自編碼器，以生成每個樣本數(shù)據(jù)對應(yīng)的第一重建數(shù)據(jù)與第二重建數(shù)據(jù)；根據(jù)每個第一編碼數(shù)據(jù)分別與第一重建數(shù)據(jù)及第二重建數(shù)據(jù)之間的差異，確定每個樣本數(shù)據(jù)對應(yīng)的第一損失值與第二損失值；根據(jù)每個第一損失值與第二損失值，對待標(biāo)注樣本數(shù)據(jù)集進行篩選。由此，通過這種數(shù)據(jù)篩選方法，不僅保證了模型的訓(xùn)練效益，而且降低了數(shù)據(jù)標(biāo)注成本。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及人工智能、計算機視覺與深度學(xué)習(xí)技術(shù)領(lǐng)域，提出一種數(shù)據(jù)篩選方法、裝置及電子設(shè)備。

背景技術(shù)

相關(guān)技術(shù)中，在有監(jiān)督的模型訓(xùn)練任務(wù)中，需要大量有標(biāo)注的樣本數(shù)據(jù)對模型進行訓(xùn)練。但是，由于模型訓(xùn)練通常需要數(shù)據(jù)量龐大的訓(xùn)練數(shù)據(jù)集，從而導(dǎo)致數(shù)據(jù)標(biāo)注成本很高。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N用于數(shù)據(jù)篩選方法、裝置、電子設(shè)備、存儲介質(zhì)以及計算機程序產(chǎn)品。

根據(jù)本申請的一方面，提供了一種數(shù)據(jù)篩選方法，包括：獲取預(yù)設(shè)模型對應(yīng)的待標(biāo)注樣本數(shù)據(jù)集，其中，所述待標(biāo)注樣本數(shù)據(jù)集中包括多個樣本數(shù)據(jù)及每個所述樣本數(shù)據(jù)對應(yīng)的第一預(yù)測結(jié)果；對每個所述第一預(yù)測結(jié)果進行編碼，以生成每個所述樣本數(shù)據(jù)對應(yīng)的第一預(yù)測結(jié)果的第一編碼數(shù)據(jù)；將每個所述第一編碼數(shù)據(jù)輸入預(yù)設(shè)的自編碼器，以生成每個所述樣本數(shù)據(jù)對應(yīng)的第一重建數(shù)據(jù)與第二重建數(shù)據(jù)；根據(jù)每個所述樣本數(shù)據(jù)對應(yīng)的第一預(yù)測結(jié)果的第一編碼數(shù)據(jù)分別與所述第一重建數(shù)據(jù)及所述第二重建數(shù)據(jù)之間的差異，確定每個所述樣本數(shù)據(jù)對應(yīng)的第一損失值與第二損失值；根據(jù)每個所述樣本數(shù)據(jù)對應(yīng)的第一損失值與第二損失值，對所述待標(biāo)注樣本數(shù)據(jù)集進行篩選。

根據(jù)本申請的另一方面，提供了一種數(shù)據(jù)篩選裝置，包括：第一獲取模塊，用于獲取預(yù)設(shè)模型對應(yīng)的待標(biāo)注樣本數(shù)據(jù)集，其中，所述待標(biāo)注樣本數(shù)據(jù)集中包括多個樣本數(shù)據(jù)及每個所述樣本數(shù)據(jù)對應(yīng)的第一預(yù)測結(jié)果；第一生成模塊，用于對每個所述第一預(yù)測結(jié)果進行編碼，以生成每個所述樣本數(shù)據(jù)對應(yīng)的第一預(yù)測結(jié)果的第一編碼數(shù)據(jù)；第二生成模塊，用于將每個所述第一編碼數(shù)據(jù)輸入預(yù)設(shè)的自編碼器，以生成每個所述樣本數(shù)據(jù)對應(yīng)的第一重建數(shù)據(jù)與第二重建數(shù)據(jù)；第一確定模塊，用于根據(jù)每個所述樣本數(shù)據(jù)對應(yīng)的第一預(yù)測結(jié)果的第一編碼數(shù)據(jù)分別與所述第一重建數(shù)據(jù)及所述第二重建數(shù)據(jù)之間的差異，確定每個所述樣本數(shù)據(jù)對應(yīng)的第一損失值與第二損失值；篩選模塊，用于根據(jù)每個所述樣本數(shù)據(jù)對應(yīng)的第一損失值與第二損失值，對所述待標(biāo)注樣本數(shù)據(jù)集進行篩選。

根據(jù)本申請的再一方面，提供了一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行如前所述的數(shù)據(jù)篩選方法。

根據(jù)本申請的又一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，其中，所述計算機指令用于使所述計算機執(zhí)行如前所述的數(shù)據(jù)篩選方法。

根據(jù)本申請的又一方面，提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序在被處理器執(zhí)行時實現(xiàn)如前所述的數(shù)據(jù)篩選方法。