[發(fā)明專利]一種基于聲波的圖像對抗樣本生成方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011124293.6
• 申請日: 2020-10-20
• 公開（公告）號: CN112333402B
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計）人: 冀曉宇;徐文淵;程雨詩;張?jiān)蛮i;王凱;閆琛
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: H04N5/357
• 分類號: H04N5/357;H04N5/232
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 萬尾甜;韓介梅

1.一種基于聲波的圖像對抗樣本生成方法，其特征在于，該方法包括以下步驟：

1)獲取包含目標(biāo)物體或目標(biāo)場景的圖片；

2)針對步驟1)獲取的圖片，使用聲波對抗樣本仿真模型，生成對目標(biāo)機(jī)器視覺系統(tǒng)中深度學(xué)習(xí)算法具有對抗作用的仿真圖像樣本；

3)使用對抗樣本優(yōu)化方法優(yōu)化步驟2)生成的仿真圖像樣本，獲得最優(yōu)的對抗樣本以及對應(yīng)的對抗參數(shù)；

4)使用慣性傳感器讀數(shù)注入方法，將上述得到的對抗參數(shù)，通過聲波的方式注入到目標(biāo)機(jī)器視覺系統(tǒng)的慣性傳感器中，使其成為傳感器讀數(shù)，該讀數(shù)將引起目標(biāo)機(jī)器視覺系統(tǒng)中的圖像防抖模塊工作，在生成的真實(shí)圖片中產(chǎn)生特定的模糊圖案，從而生成物理世界中的圖像對抗樣本；

步驟2)中，所述的聲波對抗樣本仿真模型的構(gòu)建包括以下步驟：

(1)虛假攝像頭運(yùn)動建模；假設(shè)由于聲波攻擊造成的虛假慣性傳感器讀數(shù)為M_f＝{a_x，a_y，a_z，ω_r，ω_p，ω_y}，其中a_x，a_y，a_z分別為加速度計x，y，z軸的虛假加速度讀數(shù)，ω_r，ω_p，ω_y分別為陀螺儀roll，pitch，yaw軸的虛假角速度讀數(shù)；假設(shè)圖像防抖模塊可以進(jìn)行完全的補(bǔ)償，此時，由于聲波攻擊導(dǎo)致的虛假攝像頭運(yùn)動為M_c＝{-α_x，-a_y，-α_z，-ω_r，-ω_p，-ω_y}；從以上六個維度中的加速度計x，y，z軸和陀螺儀roll軸這四個維度來構(gòu)建聲波對抗樣本仿真模型；

(2)像素運(yùn)動建模；虛假攝像頭運(yùn)動將導(dǎo)致目標(biāo)物體或場景的成像位置不同，從而導(dǎo)致輸出圖片中像素發(fā)生運(yùn)動；

針對加速度計x軸維度，對于圖片中任意像素點(diǎn)，虛假攝像頭運(yùn)動-α_x將在成像過程中造成相反方向的像素位移，其中f為攝像頭焦距，u為目標(biāo)物體或目標(biāo)場景物距，T為攝像頭曝光時間；

針對加速度計y軸維度，對于圖片中任意像素點(diǎn)，虛假攝像頭運(yùn)動-a_y將在成像過程中造成相反方向的像素位移；

針對加速度計z軸維度，對于圖片中的任意像素點(diǎn)，虛假攝像頭運(yùn)動-α_z將在成像過程中造成該像素點(diǎn)朝遠(yuǎn)離畫面中心方向的位移，其中r_o為該像素點(diǎn)與畫面中心的距離；

針對陀螺儀roll軸維度，對于圖片中的任意像素點(diǎn)，虛假攝像頭運(yùn)動-ω_r將在成像過程中造成該像素點(diǎn)朝相反方向ω_rTr_c的位移，其中r_c為該像素點(diǎn)與角速度旋轉(zhuǎn)中心的距離；

(3)圖像模糊建模；成像過程中的像素運(yùn)動將導(dǎo)致圖像模糊，加速度計x軸和y軸維度的虛假攝像頭運(yùn)動，造成線性像素運(yùn)動，導(dǎo)致線性圖像模糊；加速度計z軸維度的虛假攝像頭運(yùn)動，造成徑向像素運(yùn)動，導(dǎo)致徑向圖像模糊；陀螺儀roll軸維度的虛假攝像頭運(yùn)動，造成旋轉(zhuǎn)像素運(yùn)動，導(dǎo)致旋轉(zhuǎn)圖像模糊；為上述模糊構(gòu)建統(tǒng)一的圖像模糊模型如下：

[i′(k)，j′(k)]^T＝[w(k)，v(k)]^T+[i，j]^T

β＝ω_rT

r_c＝||(i，j)，(c₀，c₁)||₂

r_o＝||(i，j)，(o₀，o₁)||₂

其中，X為原始圖像，B為模糊后圖像，(i，j)為像素點(diǎn)坐標(biāo)，B(i，j)為模糊后圖像中坐標(biāo)為(i，j)的像素點(diǎn)，n為離散點(diǎn)數(shù)，(c₀，c₁)為圖像中心坐標(biāo)，(o₀，o₁)為旋轉(zhuǎn)中心坐標(biāo)；

使用上述模型，可以獲得不同對抗參數(shù)下的仿真圖像樣本。