[發明專利]基于三維動態交互場景的對抗攻擊方法和裝置

有效

• 申請號: 202010394266.4
• 申請日: 2020-05-11
• 公開（公告）號: CN111767786B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 劉艾杉;劉祥龍;徐一濤;吳慶濤
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/774
• 代理公司: 北京汲智翼成知識產權代理事務所(普通合伙) 11381
• 代理人: 陳曦;劉娟

本發明公開了一種基于三維動態交互場景的對抗攻擊方法和裝置。在本發明中，首先結合注意力機制在智能體的歷史幀中，選擇出待攻擊幀；針對待攻擊幀的環境物體，引入可導渲染過程，生成對抗樣本；最后利用該對抗樣本對智能體進行對抗攻擊，從而規避了傳統靜態場景攻擊中出現的問題，使三維動態交互場景中的攻擊效果遠遠優于傳統的攻擊方法。

技術領域

本發明涉及一種基于三維動態交互場景的對抗攻擊方法，同時涉及相應的對抗攻擊裝置，屬于機器學習技術領域。

背景技術

人工智能領域長期存在一個技術難題：如何制造能夠感知周圍環境、進行人機交互、并通過特定動作序列完成給定任務的智能體。近年來，深度學習已經在計算機視覺和自然語言處理等多個富有挑戰性的領域取得了卓越的成就，它也成為環境交互式智能體構建的核心模塊。研究人員將計算機視覺與自然語言處理領域的深度學習模型相結合，試圖構建符合上述要求的智能體。

目前，研究人員利用深度學習對環境交互式智能體導航與問答任務開展了眾多研究。在該任務中，智能體被隨機放置在虛擬環境中，給定自然語言描述的問題，其需要在所處環境中根據第一人稱視角進行智能導航，到達目標地點，完成所給的具體任務。研究人員通過在虛擬環境中讓智能體學習主動感知、常識推理與分數分配，使其在虛擬環境中達到良好的表現。

另一方面，對抗樣本逐漸成為深度學習領域的研究熱點。由于環境交互式智能體決策依賴深度學習模型，其魯棒性也同樣受到對抗樣本的威脅。因此，在對抗樣本存在的場景中，智能體的安全性與魯棒性存在著很大的隱患。針對三維(3D)場景，研究人員提出了許多攻擊深度學習模型的方法。然而，那些攻擊方法絕大多數僅僅關注靜態空間問題。

環境交互式智能體導航與問答任務與靜態場景的深度學習任務不同，其特殊性在于：智能體可以在所處的虛擬環境中自主移動、交互、導航，并與人類進行交流。將其與傳統靜態場景問題一致對待，那么由于智能體觀察物體的角度、距離等因素導致噪聲內容變化，智能體將很容易忽略環境中的噪聲，進而導致較差的攻擊結果。

發明內容

本發明所要解決的首要技術問題在于提供一種基于三維動態交互場景的對抗攻擊方法。

本發明所要解決的另一技術問題在于提供一種基于三維動態交互場景的對抗攻擊裝置。

為實現上述的發明目的，本發明采用下述的技術方案：

根據本發明實施例的第一方面，提供一種基于三維動態交互場景的對抗攻擊方法，包括如下步驟：

結合注意力機制在智能體的歷史幀中，選擇出待攻擊幀；

針對待攻擊幀的環境物體，引入可導渲染過程，生成對抗樣本；

利用對抗樣本對智能體進行對抗攻擊。

其中較優地，所述結合注意力機制在智能體的歷史幀中，選擇出待攻擊幀，具體包括：

計算各歷史幀對于智能體的決策貢獻度；

將各歷史幀的決策貢獻度進行歸一化處理，得到各歷史幀的權重；

將權重由大致小排序，指定前M(M＞0)個歷史幀為待攻擊幀。

其中較優地，所述決策貢獻度的計算公式為：

公式(1)中，y為正確類別，Z為當前歷史幀在神經網絡某特定層的特征，代表在當前網絡特征中第n個神經元的第i行，第j列的值，u和v分別代表神經網絡某特定層特征的高度和寬度。

其中較優地，所述權重的計算公式為：

公式(2)中，μ是各歷史幀的權重的均值，σ是各歷史幀的方差，∈是一個極小的非零值，用于規避分母為零的情況。