[發(fā)明專利]基于少量標(biāo)注樣本的增量學(xué)習(xí)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010840523.2
• 申請(qǐng)日: 2020-08-20
• 公開(kāi)（公告）號(hào): CN112132179A
• 公開(kāi)（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 盧記倉(cāng);周剛;蘭明敬;張偉;陳靜;吳建萍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04
• 代理公司: 鄭州大通專利商標(biāo)代理有限公司 41111
• 代理人: 周艷巧

本發(fā)明屬于大數(shù)據(jù)智能分析技術(shù)領(lǐng)域，特別涉及一種基于少量標(biāo)注樣本的增量學(xué)習(xí)方法及系統(tǒng)，收集樣本數(shù)據(jù)；對(duì)少量已標(biāo)注樣本擴(kuò)充增強(qiáng)，獲得可靠標(biāo)簽數(shù)據(jù)集，利用該可靠標(biāo)簽數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)獲得預(yù)訓(xùn)練模型；基于網(wǎng)絡(luò)預(yù)訓(xùn)練模型，對(duì)大量未標(biāo)注樣本進(jìn)行預(yù)測(cè)分類，構(gòu)建增量學(xué)習(xí)候選數(shù)據(jù)集；將可靠標(biāo)簽數(shù)據(jù)集和增量學(xué)習(xí)候選數(shù)據(jù)集組合得到增量學(xué)習(xí)數(shù)據(jù)集，對(duì)網(wǎng)絡(luò)預(yù)訓(xùn)練模型進(jìn)行增量學(xué)習(xí)，并利用可靠標(biāo)簽數(shù)據(jù)集對(duì)增量學(xué)習(xí)所得模型進(jìn)行校準(zhǔn)學(xué)習(xí)；利用校準(zhǔn)學(xué)習(xí)后預(yù)訓(xùn)練模型對(duì)未標(biāo)注數(shù)據(jù)進(jìn)行預(yù)測(cè)分類，通過(guò)設(shè)置循環(huán)迭代條件來(lái)判定返回重新執(zhí)行。本發(fā)明在僅有少量標(biāo)注樣本情況下通過(guò)增量學(xué)習(xí)得到用于分類識(shí)別的可靠樣本數(shù)據(jù)，提升分類識(shí)別性能和準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)智能分析技術(shù)領(lǐng)域，特別涉及一種基于少量標(biāo)注樣本的增量學(xué)習(xí)方法及系統(tǒng)。

背景技術(shù)

IDC在《數(shù)據(jù)時(shí)代2025》白皮書中指出，2025年全球數(shù)據(jù)量將達(dá)到163ZB，且其中約20％將會(huì)是性命攸關(guān)的數(shù)據(jù)，約10％會(huì)達(dá)到超級(jí)關(guān)鍵的程度。數(shù)據(jù)大爆炸促使信息時(shí)代向數(shù)據(jù)時(shí)代的轉(zhuǎn)變，誘發(fā)了科學(xué)研究第四范式——數(shù)據(jù)密集型科學(xué)研究的產(chǎn)生，但也帶來(lái)了新的問(wèn)題。如何從多源異構(gòu)、種類和模態(tài)繁多的大數(shù)據(jù)中挖掘高價(jià)值信息和知識(shí)早已超出傳統(tǒng)人工手段的能力范圍，人工智能技術(shù)尤其是深度學(xué)習(xí)技術(shù)的發(fā)展為大數(shù)據(jù)挖掘分析和預(yù)測(cè)研究等提供了一種可能的方法。目前以有監(jiān)督深度學(xué)習(xí)為代表的算法往往需要大量標(biāo)注樣本作為基礎(chǔ)支撐，然而，相對(duì)于海量異構(gòu)大數(shù)據(jù)，由于應(yīng)用場(chǎng)景、隱私、安全等原因，大規(guī)模高質(zhì)量的標(biāo)注數(shù)據(jù)往往極為缺乏，限制了此類人工智能算法尤其是深度學(xué)習(xí)算法的性能發(fā)揮與應(yīng)用。標(biāo)注樣本缺乏主要表現(xiàn)在兩個(gè)方面：一是類別不平衡情況下的標(biāo)注樣本缺乏，主要表現(xiàn)為多類樣本中某一類或幾類樣本的標(biāo)注數(shù)量或規(guī)模遠(yuǎn)遠(yuǎn)大于另外一類或幾類樣本的標(biāo)注數(shù)量或規(guī)模，從而使得算法或模型在不同類別樣本的學(xué)習(xí)中產(chǎn)生偏見(jiàn)；二是類別平衡條件下的標(biāo)注樣本缺乏，主要表現(xiàn)為各類樣本的標(biāo)注數(shù)量或規(guī)模相差不大。近年來(lái)，深度學(xué)習(xí)技術(shù)的飛速發(fā)展使得上述問(wèn)題表現(xiàn)更為突出。

標(biāo)注樣本缺乏問(wèn)題受到了研究者的廣泛關(guān)注，從分析場(chǎng)景來(lái)看，包括少量樣本學(xué)習(xí)(Small data、Few-shot Learning)、1樣本學(xué)習(xí)(One-shot Learning)、零樣本學(xué)習(xí)(Zero-shot Learning)等。針對(duì)上述問(wèn)題，已有的解決策略主要包括：新樣本標(biāo)注、數(shù)據(jù)增強(qiáng)以及基于少量標(biāo)注樣本的新算法研究等，大多數(shù)方法通常會(huì)嘗試結(jié)合多種策略進(jìn)行研究。針對(duì)關(guān)注類別平衡條件下標(biāo)注樣本缺乏問(wèn)題的研究，一種有效解決方法就是半監(jiān)督學(xué)習(xí)，起源于20世紀(jì)90年代。簡(jiǎn)單來(lái)看，已有研究大致可認(rèn)為從兩個(gè)角度展開(kāi)：一是借助外界相關(guān)知識(shí)，研究設(shè)計(jì)基于少量已知標(biāo)注樣本的半監(jiān)督學(xué)習(xí)方法；二是不借助外界相關(guān)知識(shí)，主要通過(guò)研究設(shè)計(jì)新的模型架構(gòu)或改進(jìn)已有模型的學(xué)習(xí)策略，進(jìn)而給出新的學(xué)習(xí)方法。上述研究雖然在一定程度上能夠改善少量標(biāo)注樣本情況下的分類識(shí)別性能，但在方法的適用性以及準(zhǔn)確率上都有待進(jìn)一步提升。

發(fā)明內(nèi)容

為此，本發(fā)明提供一種基于少量標(biāo)注樣本的增量學(xué)習(xí)方法及系統(tǒng)，在僅有很少量標(biāo)注樣本情況下能夠通過(guò)增量學(xué)習(xí)得到用于分類識(shí)別處理的可靠樣本數(shù)據(jù)，以提升分類識(shí)別性能和準(zhǔn)確率。

按照本發(fā)明所提供的設(shè)計(jì)方案，一種基于少量標(biāo)注樣本的增量學(xué)習(xí)方法，包含如下內(nèi)容：

收集樣本數(shù)據(jù)，包含：少量已標(biāo)注樣本和大量未標(biāo)注樣本；

對(duì)少量已標(biāo)注樣本進(jìn)行擴(kuò)充增強(qiáng)，獲得可靠標(biāo)簽數(shù)據(jù)集，利用該可靠標(biāo)簽數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)獲得預(yù)訓(xùn)練模型，調(diào)整模型收斂參數(shù)和配置；基于學(xué)習(xí)后的網(wǎng)絡(luò)預(yù)訓(xùn)練模型，對(duì)大量未標(biāo)注樣本進(jìn)行預(yù)測(cè)分類，依據(jù)分類結(jié)果構(gòu)建增量學(xué)習(xí)候選數(shù)據(jù)集；

將可靠標(biāo)簽數(shù)據(jù)集和增量學(xué)習(xí)候選數(shù)據(jù)集組合得到增量學(xué)習(xí)數(shù)據(jù)集；利用該增量學(xué)習(xí)數(shù)據(jù)集對(duì)網(wǎng)絡(luò)預(yù)訓(xùn)練模型進(jìn)行增量學(xué)習(xí)，并利用可靠標(biāo)簽數(shù)據(jù)集對(duì)增量學(xué)習(xí)所得模型進(jìn)行校準(zhǔn)學(xué)習(xí)；

利用校準(zhǔn)學(xué)習(xí)后的所得模型對(duì)未標(biāo)注數(shù)據(jù)進(jìn)行預(yù)測(cè)分類，通過(guò)設(shè)置是否達(dá)到預(yù)設(shè)期望的循環(huán)迭代條件來(lái)判定是否返回重新執(zhí)行構(gòu)建增量學(xué)習(xí)候選數(shù)據(jù)集及增量學(xué)習(xí)和校準(zhǔn)學(xué)習(xí)步驟內(nèi)容。