[發明專利]一種基于聲波的圖像對抗樣本生成方法及系統

有效

• 申請號: 202011124293.6
• 申請日: 2020-10-20
• 公開（公告）號: CN112333402B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 冀曉宇;徐文淵;程雨詩;張月鵬;王凱;閆琛
• 申請（專利權）人: 浙江大學
• 主分類號: H04N5/357
• 分類號: H04N5/357;H04N5/232
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 萬尾甜;韓介梅

本發明公開了一種基于聲波的圖像對抗樣本生成方法及系統，該方法利用現有機器視覺系統中慣性傳感器和深度學習算法的脆弱性，創新性地提出使用聲波構造適用于物理世界的圖像對抗樣本，從而欺騙機器視覺系統。相比于現有基于數字域的圖像對抗樣本構造方法，本發明方法構造的圖像對抗樣本在真實物理世界中具有更強的適用性；相比于現有基于物理域的圖像對抗樣本構造方法，本發明方法無需修改物體的外表或向攝像頭中注入光線，具有更好的隱蔽性。

技術領域

本發明屬于人工智能領域，涉及一種基于聲波的圖像對抗樣本生成方法及系統。

背景技術

隨著人工智能技術的不斷發展，機器視覺在現代智能系統中廣泛應用，如智能機器人，自動駕駛汽車等。機器視覺利用攝像頭拍攝智能系統周圍環境信息，并使用深度學習算法對圖像中包含的物體進行檢測和識別，從而達到感知環境的目的。由于機器視覺的感知結果通常作為智能系統后續決策的信息來源，機器視覺感知結果的安全性至關重要。

近些年來，針對圖像對抗樣本的研究日益增多。圖像對抗樣本指的是可以干擾機器視覺感知結果的樣本，研究圖像對抗樣本對保障機器系統以及智能系統的安全性具有重要指導意義。當前，針對圖像對抗樣本的研究主要集中于數字域，即直接修改數字圖像的像素值來構造圖像對抗樣本。盡管該方法構造的圖像對抗樣本通常具有較好的對抗效果，但在實際系統中較難應用。此外，當前也存在基于物理域的圖像對抗樣本的構造方法，但通常需要修改目標物體的外表或向攝像頭中注入光線，因此隱蔽性欠佳。本發明提出一種基于聲波的圖像對抗樣本生成方法及系統，該種方法具有較好的實用性和隱蔽性，為圖像對抗樣本的構造提供了新的思路，為機器學習安全分析與防護提供了新的指導。

發明內容

本發明提供一種基于聲波的圖像對抗樣本生成方法及系統，該方法使用聲波影響機器視覺系統中的慣性傳感器讀數，引起圖像防抖模塊錯誤補償，造成圖像模糊，從而構造三種不同類型的圖像對抗樣本。

本發明的采用以下技術方案實現：

一種基于聲波的圖像對抗樣本生成方法，包括以下步驟：

1)獲取包含目標物體或目標場景的圖片；

2)針對步驟1)獲取的圖片，使用聲波對抗樣本仿真模型，生成對目標機器視覺系統中深度學習算法具有對抗作用的仿真圖像樣本。該步驟具體包括以下三個步驟：

(1)虛假攝像頭運動建模。現代機器視覺系統使用攝像頭拍攝目標物體或場景，然后使用深度學習算法對圖片進行處理，從而實現對周圍環境的感知或目標檢測等。為了提高感知和檢測的準確率，現代機器視覺系統使用圖像防抖進行補償，從而降低由于攝像頭抖動帶來的圖像模糊。由于圖像防抖通常使用慣性傳感器，即加速度計和陀螺儀，來估計攝像頭的運動，且聲波攻擊可以對慣性傳感器造成影響，使其讀數改變，因此對于一個穩定的攝像頭，聲波攻擊可以導致圖像防抖進行錯誤補償，從而反向導致圖片模糊。假設由于聲波攻擊造成的虛假慣性傳感器讀數為M_f＝{a_x，a_y，a_z，ω_r，ω_p，ω_y}，其中a_x，a_y，a_z分別為加速度計x，y，z軸的虛假加速度讀數，ω_r，ω_p，ω_y分別為陀螺儀roll，pitch，yaw軸的虛假角速度讀數。假設圖像防抖模塊可以進行完全的補償，此時，由于聲波攻擊導致的虛假攝像頭運動為M_c＝{-a_x，-a_y，-a_z，-ω_r，-ω_p，-ω_y}。本發明主要考慮從以上六個維度中的加速度計x，y，z軸和陀螺儀roll軸這四個維度來構建聲波對抗樣本仿真模型。

(2)像素運動建模。虛假攝像頭運動將導致目標物體或場景的成像位置不同，從而導致輸出圖片中像素發生運動。