[發明專利]通過基于視覺的感知系統檢測對抗樣本

在審

• 申請號: 202010186610.0
• 申請日: 2020-03-17
• 公開（公告）號: CN112084830A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 賈云瀚;仲震宇;張煜龍;韋韜
• 申請（專利權）人: 百度(美國)有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G01C21/28;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 宋圓圓

在一個實施例中，系統接收由ADV的捕獲設備捕獲的第一圖像。系統將圖像變換應用于第一圖像以生成第二圖像。系統將對象檢測模型應用于第一和第二圖像以分別生成第一和第二輸出。系統計算第一和第二輸出之間的相似性度量。如果第一圖像和先前圖像之間的相似性度量的時間變化高于閾值，則系統將第一圖像檢測為對抗樣本。

技術領域

本公開的實施例一般涉及操作自主車輛。更具體地說，本公開的實施例涉及通過用于機器人系統或自主駕駛車輛(ADV)的基于視覺的感知系統檢測對抗樣本(例如，輸入圖像)。

背景技術

以自主模式(例如，無人駕駛)操作的車輛可以減輕乘坐者，尤其是駕駛員的一些駕駛相關責任。當以自主模式操作時，車輛可以使用車載傳感器導航到各種位置，從而允許車輛以最小的人機交互或者在沒有任何乘客的一些情況下行駛。

運動規劃和控制是自主駕駛中的關鍵操作。然而，傳統的運動規劃操作主要從給定路徑的曲率和速度估計完成該給定路徑的難度，而不考慮用于不同類型的車輛的特征的差異。相同的運動規劃和控制應用于所有類型的車輛，在某些情況下，這可能不是精確和平滑的。

基于視覺的感知是自主車輛和機器人系統的主要任務中的一個，以及基于深度學習的計算機視覺模型已經在該任務中實現了現代技術性能，并且已經被廣泛地部署。然而，這些深度神經網絡(DNN)已被示出易受仔細制作的對抗輸入(例如，“對抗樣本”)的攻擊。例如，已經證明，通過將仔細制作的小貼紙放置在停止標志上，對抗可以欺騙自主車輛的基于視覺的感知系統將其識別為限速標志。

發明內容

本公開第一方面實施例提供一種計算機實現的方法，包括：接收由自主駕駛車輛ADV的捕獲設備捕獲的第一圖像；執行圖像變換以將所述第一圖像變換為第二圖像；將對象檢測模型應用于所述第一圖像和所述第二圖像以分別生成第一輸出和第二輸出；計算所述第一輸出和所述第二輸出之間的相似性度量；以及如果所述第一圖像和先前圖像之間的相似性度量的時間變化高于預定閾值，檢測所述第一圖像為對抗樣本。

本公開第二方面實施例提供一種非暫時性機器可讀介質，其中存儲有指令，當由處理器執行時，所述指令使得所述處理器執行操作，所述操作包括：接收由自主駕駛車輛ADV的捕獲設備捕獲的第一圖像；執行圖像變換以將所述第一圖像變換為第二圖像；將對象檢測模型應用于所述第一圖像和所述第二圖像以分別生成第一輸出和第二輸出；計算所述第一輸出和所述第二輸出之間的相似性度量；以及如果所述第一圖像和先前圖像之間的相似性度量的時間變化高于預定閾值，檢測所述第一圖像為對抗樣本。

本公開第三方面實施例提供一種數據處理系統，包括：處理器；以及連接到所述處理器以存儲指令的存儲器，所述指令在由所述處理器執行時使得所述處理器執行操作，所述操作包括：接收由自主駕駛車輛ADV的捕獲設備捕獲的第一圖像；執行圖像變換以將所述第一圖像變換為第二圖像；將對象檢測模型應用于所述第一圖像和所述第二圖像以分別生成第一輸出和第二輸出；計算所述第一輸出和所述第二輸出之間的相似性度量；以及如果所述第一圖像和先前圖像之間的相似性度量的時間變化高于預定閾值，檢測所述第一圖像為對抗樣本。

附圖說明

本公開的實施例通過示例的方式示出并且不限于附圖中的圖，在附圖中相同的附圖標記表示相似的元件。

圖1是示出根據一個實施例的聯網系統的框圖。

圖2是示出根據一個實施例的自主車輛的示例的框圖。

圖3A-3B是示出根據一個實施例的與自主車輛一起使用的感知和規劃系統的示例的框圖。

圖4是示出根據一個實施例的對抗樣本模塊的示例的框圖。

圖5是示出根據一個實施例的檢測對抗樣本的工作流的框圖。

圖6是示出根據一個實施例的用于車輛的對象檢測系統的輸出的框圖。