[發(fā)明專利]實(shí)時(shí)生成對抗樣本的深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)增廣方法、裝置、電子設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110786061.5
• 申請日: 2021-07-12
• 公開（公告）號: CN113537466B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計(jì)）人: 鄧亮;刁藝琦
• 申請（專利權(quán)）人: 廣州杰納醫(yī)藥科技發(fā)展有限公司;廣東杰納醫(yī)藥科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 林麗明

本發(fā)明提供一種實(shí)時(shí)生成對抗樣本的深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)增廣方法、裝置、電子設(shè)備及介質(zhì)，本發(fā)明使用網(wǎng)絡(luò)梯度回傳修改輸入圖片，生成對抗樣本，并實(shí)時(shí)用生成的對抗樣本來訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)；使用兩個(gè)優(yōu)化器，在訓(xùn)練中分別對對抗樣本訓(xùn)練網(wǎng)絡(luò)和深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，以達(dá)到一次循環(huán)迭代中就可以同時(shí)優(yōu)化對抗參數(shù)和網(wǎng)絡(luò)參數(shù)的效果，加速了對抗與訓(xùn)練，且只需要在原有的網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，增加一個(gè)對抗參數(shù)層，一個(gè)損失函數(shù)，以及一個(gè)優(yōu)化器即可；有效提升訓(xùn)練出來的深度學(xué)習(xí)模型魯棒性，提升模型在實(shí)際應(yīng)用時(shí)的精度和召回，能有效避免模型在未知數(shù)據(jù)上出現(xiàn)的不可解釋的誤判現(xiàn)象。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)訓(xùn)練方法技術(shù)領(lǐng)域，更具體地，涉及一種實(shí)時(shí)生成對抗樣本的深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)增廣、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)

在深度學(xué)習(xí)模型訓(xùn)練中，由于帶標(biāo)注的訓(xùn)練數(shù)據(jù)獲取不易，常見的作法是對訓(xùn)練數(shù)據(jù)進(jìn)行縮放、旋轉(zhuǎn)、裁剪、加噪聲、投影變換、疊加等方式處理后，充實(shí)到訓(xùn)練集中。這些常見的充實(shí)訓(xùn)練集的操作稱為數(shù)據(jù)增廣。數(shù)據(jù)增廣是為了利用有限的訓(xùn)練數(shù)據(jù)，讓模型盡可能學(xué)習(xí)到與位置、角度、噪聲無關(guān)的圖中物體本身的視覺特征。

上述常見的數(shù)據(jù)增廣方法雖然可以利用有限的帶標(biāo)注圖片生成大量的訓(xùn)練數(shù)據(jù)，但其存在幾個(gè)缺點(diǎn)。

一是這些數(shù)據(jù)增廣方法無法模擬實(shí)際使用中可能出現(xiàn)的圖像扭曲模糊等情況。使得模型在訓(xùn)練和實(shí)際使用中面對的圖像存在差異。這也是過擬合現(xiàn)象產(chǎn)生的原因之一，所謂過擬合現(xiàn)象，是指模型在訓(xùn)練集上能夠達(dá)到較高的訓(xùn)練準(zhǔn)確度，但在實(shí)際使用中準(zhǔn)確度無法達(dá)到要求。例如，如果一個(gè)模型在訓(xùn)練中只應(yīng)用了高斯噪聲、椒鹽噪聲作為數(shù)據(jù)增廣方式，當(dāng)它在應(yīng)用中遇到視頻編解碼帶來的畫面失真時(shí)，就會產(chǎn)生嚴(yán)重的準(zhǔn)確性下降。

二是由于深度學(xué)習(xí)模型的黑盒特性，模型訓(xùn)練者并不能完全了解模型學(xué)習(xí)到的特征。常見的數(shù)據(jù)增廣方法是隨機(jī)選取一種或幾種圖片處理算法，處理圖片后送入訓(xùn)練，無法針對模型的弱點(diǎn)針對性的生成訓(xùn)練圖片。在訓(xùn)練過程中，傳統(tǒng)圖像增廣方法與模型訓(xùn)練是完全沒有交互的。舉個(gè)簡單的例子，當(dāng)一個(gè)模型已經(jīng)完全能夠應(yīng)對圖像縮放，卻還沒有充分學(xué)習(xí)到圖像的旋轉(zhuǎn)不變性時(shí)，傳統(tǒng)數(shù)據(jù)增廣方法無法探測到模型的這種特性，仍然是均勻的應(yīng)用各種增廣方式來處理訓(xùn)練圖片。

三是深度學(xué)習(xí)模型在訓(xùn)練中，由于其參數(shù)空間維度極高，會在有限的訓(xùn)練數(shù)據(jù)上收斂到局部最優(yōu)。局部最優(yōu)點(diǎn)有個(gè)明顯的特點(diǎn)，就是對輸入的擾動(dòng)極為敏感，輸入圖片上極小的變化(小到人眼無法感知)就會導(dǎo)致模型輸出產(chǎn)生非常大的改變。而傳統(tǒng)的數(shù)據(jù)增廣方法是有限種圖片處理方法的組合，無法覆蓋到所有的圖片擾動(dòng)情況，這也就使得傳統(tǒng)數(shù)據(jù)增廣方法總會使模型收斂到局部最優(yōu)，導(dǎo)致模型不夠魯棒。以O(shè)CR模型為例子，在論文《Fooling OCR Systems with Adversarial Text Images》、《What Machines See Is NotWhat They Get:Fooling Scene Text Recognition Models with Adversarial TextImages》中已經(jīng)就這種微擾攻擊帶來的識別錯(cuò)誤問題進(jìn)行過討論。

針對以上缺點(diǎn)，已經(jīng)出現(xiàn)了一些技術(shù)試圖解決問題。

生成式對抗網(wǎng)絡(luò)(GAN)是一種利用深度學(xué)習(xí)網(wǎng)絡(luò)來生成圖片的技術(shù)，這種技術(shù)通過在訓(xùn)練中引入對抗手段，來讓模型生成特定風(fēng)格的圖片。這種技術(shù)可以用于數(shù)據(jù)增廣，利用網(wǎng)絡(luò)生成的虛假圖片擴(kuò)充訓(xùn)練集，部分程度上可以緩解訓(xùn)練集不足的問題。但生成式對抗網(wǎng)絡(luò)本身并不是用于數(shù)據(jù)增廣的技術(shù)，它生成的圖片用于訓(xùn)練其他模型，也無法保證被訓(xùn)練的模型收斂到它的局部最優(yōu)。