[發(fā)明專利]一種基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法

有效

• 申請?zhí)枺?/td>: 202111485223.8
• 申請日: 2021-12-07
• 公開（公告）號: CN114363509B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設計）人: 徐文淵;冀曉宇;程雨詩;朱文俊;張世博
• 申請（專利權）人: 浙江大學
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

本發(fā)明公開了一種基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，該方法利用現(xiàn)有機器視覺系統(tǒng)中慣性傳感器和深度學習算法的脆弱性，使用聲波構造適用于物理世界的模糊噪聲，創(chuàng)新性地提出利用該模糊噪聲觸發(fā)當前場景中存在的可觸發(fā)對抗補丁，從而欺騙機器視覺系統(tǒng)。相比于現(xiàn)有基于數(shù)字域的圖像對抗補丁構造方法，本發(fā)明方法構造的聲波可觸發(fā)對抗補丁在真實物理世界中具有更強的實時操縱性；相比于現(xiàn)有基于物理域的純模糊圖像對抗樣本構造方法，本發(fā)明方法借助對抗補丁極大降低了對于模糊噪聲的操縱要求，具有更強的通用性和可行性。

技術領域

本發(fā)明屬于人工智能領域，涉及一種基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法。

背景技術

隨著人工智能技術的不斷發(fā)展，機器視覺在現(xiàn)代智能系統(tǒng)中廣泛應用，如智能機器人，自動駕駛汽車等。機器視覺利用攝像頭拍攝智能系統(tǒng)周圍環(huán)境信息，并使用深度學習算法對圖像中包含的物體進行檢測和識別，從而達到感知環(huán)境的目的。由于機器視覺的感知結果通常作為智能系統(tǒng)后續(xù)決策的信息來源，機器視覺感知結果的安全性至關重要。

近些年來，針對圖像對抗樣本的研究日益增多。圖像對抗樣本指的是可以干擾機器視覺感知結果的樣本，研究圖像對抗樣本對保障機器系統(tǒng)以及智能系統(tǒng)的安全性具有重要指導意義。當前，針對圖像對抗樣本的研究主要集中于數(shù)字域，即直接修改數(shù)字圖像的像素值來構造圖像對抗樣本，其在物理域的實現(xiàn)形式主要以補丁為主，具有通用性的對抗效果。盡管該方法構造的圖像對抗補丁通常具有較好的對抗效果，但在實際系統(tǒng)中存在無法實時控制、隱蔽性差、無法選擇目標對象(機器視覺系統(tǒng))的局限性。而單純使用聲波注入的模糊噪聲構建的對抗樣本只針對單獨一幀有效，在實際情況下，難以實現(xiàn)該要求。因此，本發(fā)明提出一種基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，該種方法兼具兩者之長，具有較好的實用性和隱蔽性，為圖像對抗樣本的構造提供了新的思路，為機器學習安全分析與防護提供了新的指導。

發(fā)明內(nèi)容

本發(fā)明提供一種基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，該方法利用防抖相機中的慣性傳感器對聲波的共振效果，聲波影響機器視覺系統(tǒng)中的慣性傳感器和深度學習算法，引起圖像防抖模塊錯誤補償，造成圖像模糊，在不獲取傳感器的具體讀數(shù)的情況下，通過優(yōu)化方法提取局部線性模糊，并以該模糊為觸發(fā)器，構造通用性的可觸發(fā)對抗補丁，從而產(chǎn)生對抗效果。

本發(fā)明采用以下技術方案實現(xiàn)：

一種基于聲波觸發(fā)的可觸發(fā)對抗補丁生成方法，包括以下步驟：

1)對防抖相機的慣性傳感器進行聲波信號掃頻，通過觀察相機畫面來判斷是否達到傳感器的共振頻率，畫面模糊時對應的頻率為傳感器的共振頻率。該步驟具體包括以下三個步驟：

(1)使用信號發(fā)生器驅動超聲波揚聲器，發(fā)出指定頻率的聲波信號，聲波信號指向防抖相機的慣性傳感器所在位置；

(2)不斷調(diào)整發(fā)出聲波信號的頻率，同時人眼觀察畫面是否出現(xiàn)抖動；

(3)在觀察到抖動后記錄下當前頻段作為備選頻段，在找到所有可產(chǎn)生抖動的頻段后，選擇抖動程度最強的一個頻段，從中挑選一個頻率作為確定的共振頻率。

2)針對步驟1)獲取到的共振頻率，調(diào)整適當?shù)男盘柗龋瓜鄼C拍攝的畫面出現(xiàn)模糊噪聲，并記錄該信號幅度；

3)根據(jù)靜止的清晰圖像與步驟2)中拍攝到的模糊圖像，獲取當前畫面某一局部的點擴散函數(shù)，進而提取點擴散函數(shù)的線性特征，最終獲得一組線性模糊參數(shù)。該步驟具體包括以下三個步驟：

(1)保持在相同畫面下，獲取聲波注入前的清晰圖像以及聲波注入后的模糊圖像；

(2)根據(jù)對抗補丁實際布置位置，選擇其對應的圖像位置，從步驟(1)中所述的清晰圖像和模糊圖像中分別截取對應的圖像塊，使用梯度下降方法，優(yōu)化出對應的點擴散函數(shù)；

待優(yōu)化的點擴散函數(shù)可以表示為：