[發(fā)明專(zhuān)利]一種分布魯棒性對(duì)抗學(xué)習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010891222.2
• 申請(qǐng)日: 2020-08-30
• 公開(kāi)（公告）號(hào): CN112085194B
• 公開(kāi)（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 崔鵬;劉家碩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): G06N3/08
• 分類(lèi)號(hào): G06N3/08;G06F30/27;G06K9/62
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 廖元秋

本發(fā)明提出一種分布魯棒性對(duì)抗學(xué)習(xí)方法，屬于魯棒學(xué)習(xí)方法和對(duì)抗學(xué)習(xí)技術(shù)領(lǐng)域。該方法首先多環(huán)境訓(xùn)練數(shù)據(jù)，分別建立訓(xùn)練數(shù)據(jù)的協(xié)變量集合和目標(biāo)變量集合，通過(guò)多環(huán)境訓(xùn)練數(shù)據(jù)在模型優(yōu)化的同時(shí)對(duì)協(xié)變量的相對(duì)魯棒性進(jìn)行推斷，并據(jù)此在分布魯棒學(xué)習(xí)框架下對(duì)不同協(xié)變量進(jìn)行加權(quán)，來(lái)構(gòu)造更加符合實(shí)際的對(duì)抗分布集合，最終得到訓(xùn)練完畢的模型參數(shù)以及協(xié)變量權(quán)重向量。應(yīng)用時(shí)，通過(guò)協(xié)變量權(quán)重區(qū)分不同協(xié)變量的相對(duì)魯棒性，輸入模型后，得到更為準(zhǔn)確的分類(lèi)結(jié)果。本發(fā)明基于實(shí)際情境中不同協(xié)變量具有不同程度魯棒性的觀察，區(qū)別對(duì)待不同協(xié)變量來(lái)構(gòu)造更加符合實(shí)際的對(duì)抗分布集合，進(jìn)行更有效的分布魯棒優(yōu)化，在圖像分類(lèi)等多種領(lǐng)域有很高的應(yīng)用價(jià)值。

技術(shù)領(lǐng)域

本發(fā)明屬于魯棒學(xué)習(xí)方法和對(duì)抗學(xué)習(xí)技術(shù)領(lǐng)域，特別提出一種分布魯棒性對(duì)抗學(xué)習(xí)方法。

背景技術(shù)

傳統(tǒng)的機(jī)器學(xué)習(xí)方法基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，當(dāng)訓(xùn)練數(shù)據(jù)存在潛在的異質(zhì)性、混雜因子或分布偏移時(shí)，此類(lèi)方法通常表現(xiàn)出較差的泛化性能，故在真實(shí)環(huán)境下的預(yù)測(cè)性能不穩(wěn)定。分布魯棒學(xué)習(xí)希望通過(guò)構(gòu)造對(duì)抗分布集合并優(yōu)化其中的最壞情況，來(lái)達(dá)到分布有偏情況下更好的泛化性能，但現(xiàn)有方法存在構(gòu)造的對(duì)抗分布集合過(guò)大的問(wèn)題，而其中部分分布在真實(shí)場(chǎng)景中不需要被納入考慮，在實(shí)際應(yīng)用中，特別是具有較強(qiáng)分布偏差的情況下，實(shí)際泛化效果不佳。

在真實(shí)的應(yīng)用場(chǎng)景中，例如圖像分類(lèi)任務(wù)中，代表顏色、紋理、背景的協(xié)變量相較于代表目標(biāo)物體的協(xié)變量在不同環(huán)境中變化會(huì)更加劇烈，表現(xiàn)為不同協(xié)變量魯棒性的不同，當(dāng)在實(shí)際場(chǎng)景下應(yīng)用時(shí)，若應(yīng)用于訓(xùn)練數(shù)據(jù)中少見(jiàn)的場(chǎng)景時(shí)，機(jī)器學(xué)習(xí)模型的分類(lèi)表現(xiàn)會(huì)受到很大影響。圖像分類(lèi)中現(xiàn)有的分布魯棒學(xué)習(xí)方法主要是對(duì)圖像進(jìn)行微小的擾動(dòng)，使用擾動(dòng)后的圖像進(jìn)行訓(xùn)練，來(lái)實(shí)現(xiàn)模型對(duì)于微小擾動(dòng)下的魯棒性。由于現(xiàn)有方法并不區(qū)分對(duì)待不同的協(xié)變量，也導(dǎo)致了只能對(duì)圖像進(jìn)行微小的擾動(dòng)，并假設(shè)擾動(dòng)之后圖像標(biāo)簽沒(méi)有發(fā)生變化，也導(dǎo)致只能保證微小擾動(dòng)下的魯棒性。

發(fā)明內(nèi)容

本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種分布魯棒性對(duì)抗學(xué)習(xí)方法。本發(fā)明基于實(shí)際情境中不同協(xié)變量具有不同程度魯棒性的觀察，區(qū)別對(duì)待不同協(xié)變量來(lái)構(gòu)造更加符合實(shí)際的對(duì)抗分布集合，進(jìn)行更有效的分布魯棒優(yōu)化。

本發(fā)明提出一種分布魯棒性對(duì)抗學(xué)習(xí)方法，其特征在于，包括以下步驟：

1)獲取多環(huán)境訓(xùn)練數(shù)據(jù)；

選取來(lái)自不同環(huán)境e∈ε的訓(xùn)練數(shù)據(jù)D^e＝{X^e，Y^e}組成多環(huán)境訓(xùn)練數(shù)據(jù)，其中ε為環(huán)境的集合，X^e為來(lái)自環(huán)境e的所有訓(xùn)練樣本的協(xié)變量組成的該環(huán)境的協(xié)變量數(shù)組，Y^e為來(lái)自環(huán)境e的所有訓(xùn)練樣本的目標(biāo)變量組成的該環(huán)境的目標(biāo)變量數(shù)組；將所有環(huán)境的協(xié)變量數(shù)組組成協(xié)變量集合，將所有環(huán)境的目標(biāo)變量數(shù)組組成目標(biāo)變量集合；

2)建立模型：該模型為從協(xié)變量X的空間到目標(biāo)變量Y的映射；

3)將步驟1)得到的協(xié)變量集合中協(xié)變量的每一維權(quán)重構(gòu)成的權(quán)重向量初始化為全1的向量，即每一維協(xié)變量的相對(duì)魯棒性是相同的，并將該權(quán)重向量作為協(xié)變量當(dāng)前權(quán)重向量w；

4)利用協(xié)變量當(dāng)前權(quán)重向量w，構(gòu)造Wasserstein距離度量下的當(dāng)前對(duì)抗分布集合其中c_w(z₁，z₂)＝|w⊙(z₁-z₂)|²；

其中P₀代表原始的訓(xùn)練數(shù)據(jù)分布，ρ為對(duì)抗分布集合的半徑，代表分布Q與初始分布P₀的分布間Wasserstein距離；z_i＝(x_i，y_i)代表訓(xùn)練樣本i，其中x_i為該樣本的協(xié)變量，y_i為該樣本的目標(biāo)變量，i＝1，2…；

5)對(duì)于當(dāng)前對(duì)抗分布集合使用分布魯棒優(yōu)化學(xué)習(xí)步驟2)建立的模型當(dāng)前參數(shù)θ：