[發明專利]一種分布魯棒性對抗學習方法

有效

• 申請號: 202010891222.2
• 申請日: 2020-08-30
• 公開（公告）號: CN112085194B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 崔鵬;劉家碩
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F30/27;G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

1.一種分布魯棒性對抗學習方法，其特征在于，包括以下步驟：

1)獲取多環境訓練數據；

選取來自不同環境e∈ε的訓練數據D^e＝{X^e，Y^e}組成多環境訓練數據，其中ε為環境的集合，X^e為來自環境e的所有訓練樣本的協變量組成的該環境的協變量數組，Y^e為來自環境e的所有訓練樣本的目標變量組成的該環境的目標變量數組；將所有環境的協變量數組組成協變量集合，將所有環境的目標變量數組組成目標變量集合；

2)建立模型：該模型為從協變量X的空間到目標變量Y的映射；

3)將步驟1)得到的協變量集合中協變量的每一維權重構成的權重向量初始化為全1的向量，即每一維協變量的相對魯棒性是相同的，并將該權重向量作為協變量當前權重向量w；

4)利用協變量當前權重向量w，構造Wasserstein距離度量下的當前對抗分布集合其中c_w(z₁，z₂)＝|w⊙(z₁-z₂)|²；

其中P₀代表原始的訓練數據分布，ρ為對抗分布集合的半徑，代表分布Q與初始分布P₀的分布間Wasserstein距離；z_i＝(x_i,y_i)代表訓練樣本i，其中x_i為該樣本的協變量，y_i為該樣本的目標變量，i＝1,2…；

5)對于當前對抗分布集合使用分布魯棒優化學習步驟2)建立的模型當前參數θ：

其中，為樣本點(X，Y)上的誤差；為對于模型當前參數θ，對于服從分布Q的數據上的誤差的期望；

模型當前參數θ的初始值為隨機初始化后的結果；

6)利用當前θ和當前w，利用步驟1)得到的多環境訓練數據，計算其中代表了環境e下的平均誤差，之后利用R(θ(w))來更新協變量當前權重向量w，然后重新返回步驟4)；其中參數α為超參數，α＞0；

7)重復步驟4)到步驟6)，采用梯度下降訓練模型，直到模型收斂，此時的模型當前參數θ即為最終的模型參數，模型訓練完畢，此時的協變量當前權重向量w即為最終的協變量權重向量；

8)任意獲取一個測試樣本，將該測試樣本中協變量賦予步驟7)得到最終的協變量權重向量，得到該測試樣本修正后的協變量；然后將該修正后的協變量輸入步驟7)訓練完畢的模型，模型輸出的即為該測試樣本的目標變量預測結果。