[發(fā)明專利]一種基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法

有效

• 申請?zhí)枺?/td>: 202111485223.8
• 申請日: 2021-12-07
• 公開（公告）號: CN114363509B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設計）人: 徐文淵;冀曉宇;程雨詩;朱文俊;張世博
• 申請（專利權）人: 浙江大學
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

1.一種基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，其特征在于，該方法包括以下步驟：

1)對防抖相機的慣性傳感器進行聲波信號掃頻，通過觀察相機畫面得到傳感器的共振頻率；

2)針對步驟1)獲取到的共振頻率，調整信號幅度，使相機拍攝的畫面出現(xiàn)模糊噪聲，并記錄該信號幅度；

3)根據(jù)靜止的清晰圖像與步驟2)中拍攝到的模糊圖像，獲取當前畫面某一局部的點擴散函數(shù)，進而提取點擴散函數(shù)的線性特征，最終獲得一組線性模糊參數(shù)；

4)利用步驟3)獲取的線性模糊參數(shù)，使用以互補損失函數(shù)為優(yōu)化目標的對抗補丁生成方法，生成一個可觸發(fā)的對抗補丁；

所述步驟4)中，以互補損失函數(shù)為優(yōu)化目標的對抗補丁生成方法，具體包括以下步驟：

(1)使用步驟3)中得到的線性模糊參數(shù)構造正向模糊觸發(fā)器，使用靜止狀態(tài)下的線性模糊參數(shù)構造負向模糊觸發(fā)器；

(2)對步驟(1)中所述的正向模糊觸發(fā)器和負向模糊觸發(fā)器分別使用正向對抗損失和負向對抗損失作為優(yōu)化函數(shù)，兩者共同構成互補損失函數(shù)；

(3)指定對抗補丁的尺寸與形狀，并且設定對抗補丁所要實現(xiàn)的具體對抗效果，使用隨機像素值初始化對抗補丁；

(4)以標準圖像數(shù)據(jù)集中的圖像作為優(yōu)化過程中的背景，將待優(yōu)化的對抗補丁隨機放置到所述背景中，使用步驟(2)中的互補損失函數(shù)進行對抗補丁優(yōu)化，最終獲得一個可觸發(fā)對抗補丁。

2.根據(jù)權利要求1所述的基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，其特征在于，步驟1)中，所述的聲波信號掃頻過程包括以下步驟：

(1)使用信號發(fā)生器驅動超聲波揚聲器發(fā)出聲波信號，聲波信號指向防抖相機的慣性傳感器所在位置；

(2)不斷調整發(fā)出聲波信號的頻率，同時人眼觀察畫面是否出現(xiàn)抖動；

(3)在觀察到抖動后記錄下當前頻段作為備選頻段，在找到所有可產生抖動的頻段后，選擇抖動程度最強的一個頻段，從中挑選一個頻率作為確定的共振頻率。

3.根據(jù)權利要求1所述的基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，其特征在于，所述步驟3)具體包括以下步驟：

(1)保持在相同畫面下，獲取聲波注入前的清晰圖像以及聲波注入后的模糊圖像；

(2)根據(jù)對抗補丁實際布置位置，選擇其對應的圖像位置，從步驟(1)中所述的清晰圖像和模糊圖像中分別截取對應的圖像塊，使用梯度下降方法，優(yōu)化出對應的點擴散函數(shù)；

(3)提取步驟(2)中獲得的點擴散函數(shù)的線性特征，所述線性特征為：x軸與y軸的模糊程度，或者極坐標形式下模糊的強弱與方向。

4.根據(jù)權利要求1所述的基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，其特征在于，采用可觸發(fā)的對抗補丁生成圖像對抗樣本，方法為：使用步驟2)中所述的共振頻率和信號幅度，通過聲波的方式注入慣性傳感器，使相機畫面產生相同的模糊噪聲，該模糊噪聲將觸發(fā)步驟4)中獲得的對抗補丁，進而產生針對目標機器視覺系統(tǒng)的圖像對抗樣本。

5.根據(jù)權利要求4所述的基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，其特征在于，所述采用可觸發(fā)的對抗補丁生成圖像對抗樣本的方法，具體包括以下步驟：

(1)在注入信號前，可觸發(fā)的對抗補丁已經(jīng)被布置于相機畫面中；

(2)使用步驟2)中確定的共振頻率和信號幅度向慣性傳感器發(fā)射聲波信號，使相機畫面產生與步驟2)中觀察所得相同或相近的圖像模糊噪聲；

(3)在(2)所述的圖像模糊噪聲下，步驟(1)中布置的對抗補丁被觸發(fā)，產生對抗效果，使得目標機器視覺系統(tǒng)出現(xiàn)識別錯誤。