[發(fā)明專利]基于對(duì)抗插值的樣本數(shù)據(jù)增強(qiáng)方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110730469.0
• 申請(qǐng)日: 2021-06-29
• 公開（公告）號(hào): CN113435519A
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 劉廣
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/08
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 李小朋

本發(fā)明公開了一種基于對(duì)抗插值的樣本數(shù)據(jù)增強(qiáng)方法、裝置、設(shè)備及介質(zhì)，所述方法包括：獲取已標(biāo)注的第一樣本數(shù)據(jù)，根據(jù)mixup算法對(duì)所述第一樣本數(shù)據(jù)進(jìn)行隨機(jī)插值，得到第二樣本數(shù)據(jù)；通過梯度下降方法調(diào)整插值比例，得到更新后的插值比例；根據(jù)所述更新后的插值比例，重新進(jìn)行插值運(yùn)算，得到增強(qiáng)的第三樣本數(shù)據(jù)。根據(jù)本公開實(shí)施例提供的基于對(duì)抗插值的樣本數(shù)據(jù)增強(qiáng)方法，利用對(duì)抗學(xué)習(xí)的方法來搜索插值比例，增強(qiáng)程度可以控制，可以生成更“難”的增強(qiáng)樣本，從而提高分類模型在低資源情況下的準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種基于對(duì)抗插值的樣本數(shù)據(jù)增強(qiáng)方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

現(xiàn)實(shí)場(chǎng)景使用圖像分類模型、語音分類模型或者文本分類模型會(huì)遇到標(biāo)注數(shù)據(jù)少(低資源)的問題。在低資源的情況下，比如每個(gè)類別只有少量樣本，模型可能會(huì)過擬合導(dǎo)致其性能不達(dá)預(yù)期。這種過擬合情況在數(shù)據(jù)稀缺的情況下更加明顯，例如每個(gè)類別只有5個(gè)樣本的極端情況。

面對(duì)一個(gè)標(biāo)注數(shù)據(jù)稀缺的低資源應(yīng)用場(chǎng)景，數(shù)據(jù)增強(qiáng)是一種有效的技術(shù)方法，可以利用非常少量的標(biāo)注語料得到一個(gè)有一定性能的基礎(chǔ)模型，幫助破解低資源困局、減少對(duì)標(biāo)注的需求，快速進(jìn)入模型優(yōu)化的迭代開發(fā)。

但是，現(xiàn)有技術(shù)中的數(shù)據(jù)增強(qiáng)方法都是單樣本增強(qiáng)。例如：在文本分類的場(chǎng)景中，通常用GPT-2模型生成某個(gè)類別的合成樣本，然后將合成樣本放入訓(xùn)練集合訓(xùn)練模型，提升模型的泛化能力。這樣的單樣本增強(qiáng)的程度難以控制使得增強(qiáng)效果不能得到保證。而基于插值的數(shù)據(jù)增強(qiáng)利用兩個(gè)不同類別的真實(shí)樣本進(jìn)行插值生成一個(gè)插值樣本，會(huì)因插值比例不同而生成出不同“難易”程度的樣本，從而影響到分類模型的效果。

發(fā)明內(nèi)容

本公開實(shí)施例提供了一種基于對(duì)抗插值的樣本數(shù)據(jù)增強(qiáng)方法、裝置、設(shè)備及介質(zhì)。解決了現(xiàn)有技術(shù)中標(biāo)注數(shù)據(jù)少，影響模型訓(xùn)練效果的問題。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

第一方面，本公開實(shí)施例提供了一種基于對(duì)抗插值的樣本數(shù)據(jù)增強(qiáng)方法，包括：

獲取已標(biāo)注的第一樣本數(shù)據(jù)，根據(jù)mixup算法對(duì)第一樣本數(shù)據(jù)進(jìn)行隨機(jī)插值，得到第二樣本數(shù)據(jù)；

通過梯度下降方法調(diào)整插值比例，得到更新后的插值比例；

根據(jù)更新后的插值比例，重新進(jìn)行插值運(yùn)算，得到增強(qiáng)的第三樣本數(shù)據(jù)。

在一個(gè)可選地實(shí)施例中，根據(jù)mixup算法對(duì)第一樣本數(shù)據(jù)進(jìn)行隨機(jī)插值，得到第二樣本數(shù)據(jù)，包括：

從第一樣本數(shù)據(jù)中隨機(jī)抽取兩個(gè)樣本；

從Beta分布中隨機(jī)抽取一個(gè)插值比例，得到隨機(jī)插值比例；

根據(jù)抽取的樣本數(shù)據(jù)、隨機(jī)插值比例以及mixup算法進(jìn)行隨機(jī)插值，得到第二樣本數(shù)據(jù)。

在一個(gè)可選地實(shí)施例中，根據(jù)如下公式進(jìn)行隨機(jī)插值，得到第二樣本數(shù)據(jù)：

λ～Beta(α，α)

其中，{xi,yi}和{xj,yj}表示抽取的樣本數(shù)據(jù)，λ表示插值的比例，Beta(α,α)表示beta分布，g_k(x_i)和g_k(x_j)表示xi和xj經(jīng)過網(wǎng)絡(luò)編碼后的數(shù)據(jù)，表示根據(jù)插值比例λ將位置K的詞的表示g_k(x_i)和g_k(x_j)進(jìn)行插值融合后的增強(qiáng)數(shù)據(jù)，表示對(duì)于xi和xj對(duì)應(yīng)的標(biāo)簽yi和yj進(jìn)行插值融合后的增強(qiáng)數(shù)據(jù)。