[發(fā)明專利]一種篩選樣本的方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011195232.9
• 申請(qǐng)日: 2020-10-30
• 公開（公告）號(hào): CN112308144A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 胡祎波;曹文飛;張博宣;趙禮悅;蔣博劼;張旭;盧智聰;翁謙
• 申請(qǐng)（專利權(quán)）人: 江蘇云從曦和人工智能有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 上海光華專利事務(wù)所(普通合伙) 31219
• 代理人: 李鐵

本發(fā)明提供一種篩選樣本的方法、系統(tǒng)、設(shè)備及介質(zhì)，通過從目標(biāo)樣本集中獲取部分未標(biāo)注樣本形成候選樣本集；利用分類模型對(duì)候選樣本集中每個(gè)未標(biāo)注樣本進(jìn)行多次預(yù)測(cè)，根據(jù)多次預(yù)測(cè)結(jié)果計(jì)算候選樣本集中每個(gè)未標(biāo)注樣本的不確定性值；從候選樣本集中篩選出不確定性值最高的前K個(gè)未標(biāo)注樣本，以作為分類模型的訓(xùn)練樣本。本發(fā)明可以從海量數(shù)據(jù)中挑選出最具代表性的少量樣本進(jìn)行人工標(biāo)注，解決了傳統(tǒng)需要對(duì)全量樣本進(jìn)行標(biāo)注時(shí)耗資巨大的問題。本發(fā)明還可以減少訓(xùn)練分類模型時(shí)所需人工標(biāo)注數(shù)據(jù)的數(shù)量，減少進(jìn)行人工標(biāo)注的人力成本，有效地提高了標(biāo)注效率；同時(shí)能夠以最小的數(shù)據(jù)標(biāo)注代價(jià)快速迭代優(yōu)化模型，實(shí)現(xiàn)用較少的數(shù)據(jù)訓(xùn)練出較優(yōu)的模型。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別是涉及一種篩選樣本的方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)

近年來，計(jì)算機(jī)軟硬件能力的快速提升為人工智能技術(shù)帶來了生機(jī)，使其在工業(yè)界和學(xué)術(shù)界取得了豐碩的成果，同時(shí)也為很多行業(yè)迎來了新的發(fā)展契機(jī)。以機(jī)器學(xué)習(xí)為代表的人工智能技術(shù)常被應(yīng)用于計(jì)算機(jī)視覺、自然語言處理以及語音識(shí)別等領(lǐng)域，在這些領(lǐng)域中有海量的數(shù)據(jù)可用于建模，然而，在實(shí)際的應(yīng)用場(chǎng)景中，獲取足量的用于模型訓(xùn)練的樣本往往會(huì)遇到諸多限制。

構(gòu)建和訓(xùn)練出理想的機(jī)器學(xué)習(xí)模型需要大量的標(biāo)注數(shù)據(jù)，當(dāng)前的數(shù)據(jù)標(biāo)注工作主要是靠人力來完成，這無疑需要消耗大量的人力、物力以及時(shí)間等資源，特別是對(duì)于深度學(xué)習(xí)而言，其對(duì)數(shù)據(jù)量的需求更加龐大。此外，機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型的訓(xùn)練過程同樣需要花費(fèi)較高的代價(jià)，且這種代價(jià)會(huì)隨入模樣本量的增大而增大。因此，需要一種可以從海量數(shù)據(jù)中選出最具代表性樣本的方式，以達(dá)到降低數(shù)據(jù)標(biāo)注成本同時(shí)確保模型具有理想精度的目的。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種篩選樣本的方法、系統(tǒng)、設(shè)備及介質(zhì)，用于解決現(xiàn)有技術(shù)中的問題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種篩選樣本的方法，應(yīng)用于計(jì)算機(jī)模型訓(xùn)練過程，包括以下步驟：

從目標(biāo)樣本集中獲取部分未標(biāo)注樣本形成候選樣本集，其中，目標(biāo)樣本集中的樣本包括以下至少之一：圖像、語音、文字；

利用分類模型對(duì)所述候選樣本集中每個(gè)未標(biāo)注樣本進(jìn)行多次預(yù)測(cè)，得到所述候選樣本集中每個(gè)未標(biāo)注樣本的多次預(yù)測(cè)結(jié)果；

根據(jù)所述候選樣本集中每個(gè)未標(biāo)注樣本的多次預(yù)測(cè)結(jié)果計(jì)算所述分類模型的不確定性值，并基于所述分類模型的不確定性值確定所述候選樣本集中每個(gè)未標(biāo)注樣本的不確定性值；

從所述候選樣本集中篩選出不確定性值最高的前K個(gè)未標(biāo)注樣本，以作為所述分類模型的訓(xùn)練樣本。

可選地，所述利用分類模型對(duì)所述候選樣本集中的每個(gè)未標(biāo)注樣本進(jìn)行多次預(yù)測(cè)，得到所述候選樣本集中每個(gè)未標(biāo)注樣本的多次預(yù)測(cè)結(jié)果的過程包括：

利用所述分類模型對(duì)所述候選樣本集中的每個(gè)未標(biāo)注樣本進(jìn)行多次預(yù)測(cè)，且在每次預(yù)測(cè)時(shí)將所述分類模型中的神經(jīng)網(wǎng)絡(luò)的每一個(gè)神經(jīng)元以預(yù)設(shè)概率進(jìn)行隨機(jī)丟棄，得到完成隨機(jī)dropout操作后的分類模型；

根據(jù)完成隨機(jī)dropout操作后的分類模型中的神經(jīng)網(wǎng)絡(luò)計(jì)算所述候選樣本集中每個(gè)未標(biāo)注樣本在不同樣本類別上的預(yù)測(cè)概率，得到單次預(yù)測(cè)結(jié)果；

基于所述候選樣本集中每個(gè)未標(biāo)注樣本的所有單次預(yù)測(cè)結(jié)果得到所述候選樣本集中每個(gè)未標(biāo)注樣本的多次預(yù)測(cè)結(jié)果。

可選地，所述根據(jù)所述候選樣本集中每個(gè)未標(biāo)注樣本的多次預(yù)測(cè)結(jié)果計(jì)算所述分類模型的不確定性值，并基于所述分類模型的不確定性值確定所述候選樣本集中每個(gè)未標(biāo)注樣本的不確定性值；包括：

將所述候選樣本集中每個(gè)未標(biāo)注樣本輸入至第t次dropout操作后得到的分類模型中的神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，計(jì)算所述候選樣本集中每個(gè)未標(biāo)注樣本被預(yù)測(cè)為第c個(gè)樣本類別的概率，以得到所述候選樣本集中每個(gè)未標(biāo)注樣本的多次預(yù)測(cè)結(jié)果；