[發(fā)明專利]一種基于對抗攻擊的多媒體隱私保護方法、裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 202110360515.2
• 申請日: 2021-04-02
• 公開（公告）號: CN113076557B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計）人: 王勇濤;黃灝;湯幟
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N3/04;G06N3/08;G06T1/00
• 代理公司: 北京萬象新悅知識產(chǎn)權(quán)代理有限公司 11360
• 代理人: 賈曉玲

1.一種基于對抗攻擊的多媒體隱私保護方法，其特征在于，包括以下步驟：

1)獲得對多媒體樣本進行侵犯的神經(jīng)網(wǎng)絡(luò)模型和原始訓(xùn)練數(shù)據(jù)；包括：

獲得對多媒體樣本進行侵犯的目標(biāo)檢測器或DeepFake生成器；

針對所述目標(biāo)檢測器或所述DeepFake生成器，將干凈多媒體樣本作為原始訓(xùn)練數(shù)據(jù)；

2)根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型針對的任務(wù)類型設(shè)計出不同的損失函數(shù)，利用損失函數(shù)的值對任一原始訓(xùn)練數(shù)據(jù)加上首次隨機擾動求梯度，得到第一次對抗擾動；

若對多媒體樣本進行侵犯的是目標(biāo)檢測器，循環(huán)將所述原始訓(xùn)練數(shù)據(jù)加上所述對抗擾動后輸入到所述神經(jīng)網(wǎng)絡(luò)模型中進行計算，得到輸出訓(xùn)練數(shù)據(jù)，再次利用損失函數(shù)計算損失，將損失回傳求梯度，得到更新對抗擾動；當(dāng)?shù)玫綄?yīng)的輸出訓(xùn)練數(shù)據(jù)與輸入原始訓(xùn)練數(shù)據(jù)差距變大時，保存對抗擾動結(jié)果，包括：

A1將任意一張干凈多媒體樣本加上所述對抗擾動后輸入到所有目標(biāo)檢測器中得到檢測器的輸出；

A2將所有檢測器輸出中物體框的置信度與0做均方誤差，算出損失；

A3將損失分別在不同目標(biāo)檢測器上回傳，得到在干凈多媒體樣本上的梯度序列，綜合梯度序列得到該干凈多媒體樣本的擾動；

A4循環(huán)A1到A3，直到滿足預(yù)先設(shè)定的終止條件，保存該對抗擾動結(jié)果；

若對多媒體樣本進行侵犯的是DeepFake生成器，循環(huán)將所述原始訓(xùn)練數(shù)據(jù)加上所述第一次對抗擾動后輸入到所述神經(jīng)網(wǎng)絡(luò)模型中進行計算，得到輸出訓(xùn)練數(shù)據(jù)，再次利用損失函數(shù)計算損失，將損失回傳求梯度，得到本次對抗擾動；當(dāng)?shù)玫綄?yīng)的輸出訓(xùn)練數(shù)據(jù)與輸入原始訓(xùn)練數(shù)據(jù)差距變大時，保存對抗擾動結(jié)果；包括：

B1將任意一張干凈人臉圖片和該圖片加上所述對抗擾動后的圖片，輸入到DeepFake生成器網(wǎng)絡(luò)中，得到對抗樣本生成的篡改圖片和原始圖片的篡改圖片；

B2計算兩張篡改圖片的均方誤差，算出損失；

B3將損失在不同的生成器上回傳，得到在圖片上的梯度序列，綜合梯度序列得到該圖片的擾動；

循環(huán)B1到B3，直到滿足預(yù)先設(shè)定的終止條件，保存該對抗擾動結(jié)果；

3)將所述對抗擾動結(jié)果作為保護水印疊加到軟件端上傳或硬件端生成的多媒體內(nèi)容上。

2.如權(quán)利要求1所述的方法，其特征在于，所述循環(huán)將所述原始訓(xùn)練數(shù)據(jù)加上所述第一次對抗擾動后輸入到所述神經(jīng)網(wǎng)絡(luò)模型中進行計算，得到輸出訓(xùn)練數(shù)據(jù)，再次利用損失函數(shù)計算損失，將損失回傳求梯度，得到本次對抗擾動，還包括：第二次得到的對抗擾動為將第一次對抗擾動乘上系數(shù)a加上本次擾動乘上系數(shù)b得到。

3.如權(quán)利要求2所述的方法，其特征在于，對抗擾動的無窮范數(shù)不超過定值，該定值取值為4。

4.如權(quán)利要求2所述的方法，其特征在于，所述系數(shù)a范圍是[0.8,1.0)，所述系數(shù)b范圍是(0,0.2]。

5.如權(quán)利要求4所述的方法，其特征在于，所述系數(shù)a取值為0.99，所述b取值為0.01。

6.一種實現(xiàn)權(quán)利要求1所述的多媒體隱私保護方法的基于對抗攻擊的多媒體隱私保護裝置，其特征在于，包括以下模塊：

獲取模塊，用于獲得對多媒體樣本進行侵犯的神經(jīng)網(wǎng)絡(luò)模型和原始訓(xùn)練數(shù)據(jù)；

擾動生成模塊，用于根據(jù)所述神經(jīng)網(wǎng)絡(luò)模型針對的任務(wù)類型設(shè)計出不同的損失函數(shù)，利用損失函數(shù)的值對任一原始訓(xùn)練數(shù)據(jù)加上首次隨機擾動求梯度，得到第一次對抗擾動；

擾動保存模塊，用于循環(huán)將所述原始訓(xùn)練數(shù)據(jù)加上所述第一次對抗擾動后輸入到所述神經(jīng)網(wǎng)絡(luò)模型中進行計算，得到輸出訓(xùn)練數(shù)據(jù)，再次利用損失函數(shù)計算損失，將損失回傳求梯度，得到本次對抗擾動；當(dāng)?shù)玫綄?yīng)的輸出訓(xùn)練數(shù)據(jù)與輸入原始訓(xùn)練數(shù)據(jù)差距變大時，保存對抗擾動結(jié)果；

水印添加模塊，用于將所述對抗擾動結(jié)果作為保護水印疊加到多媒體樣本上。

7.一種基于對抗攻擊的多媒體隱私保護設(shè)備，其特征在于，包括多媒體內(nèi)容生成裝置及如權(quán)利要求6所述的多媒體隱私保護裝置，所述多媒體隱私保護裝置生成保護水印，并將所述保護水印疊加到所述多媒體生成裝置生成的多媒體內(nèi)容上。