[發明專利]測試基于深度學習的車輛檢測模型魯棒性的方法和裝置

在審

• 申請號: 202011615690.3
• 申請日: 2020-12-30
• 公開（公告）號: CN112766311A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 蘇松劍;蘇松志;蔡國榕;陳延藝;陳延行;彭鷺斌
• 申請（專利權）人: 羅普特科技集團股份有限公司;羅普特（廈門）系統集成有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F30/27;G06N3/04;G06N3/08
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 陳遠洋

本發明公開了一種測試基于深度學習的車輛檢測模型魯棒性的方法和裝置，獲取車輛圖片及對應的CAD模型；建立參數化紋理生成網絡模型并進行訓練，通過深度神經網絡對車輛圖片進行特征提取，得到第一特征，通過三角網格模型對CAD模型進行特征提取，得到第二特征，將第一特征和第二特征連接起來作為深度卷積生成網絡的輸入，輸出為參數化紋理圖片，將參數化紋理圖片并進行處理得到合成車輛圖片，將合成車輛圖片輸入車輛分類網絡，記錄判別結果中被分類為非車輛的圖片的參數化紋理圖片并進行建模，得到最終的對抗樣本圖片，將車身粘貼有對抗樣本圖片的車輛圖片輸入被測的車輛檢測模型，計算出表征車輛檢測模型魯棒性的魯棒度。

技術領域

本發明涉及深度學習訓練領域，具體涉及一種測試基于深度學習的車輛檢測模型魯棒性的方法和裝置。

背景技術

深度學習是當前計算機視覺的主流方法。車輛檢測與識別任務中，大部分算法采用基于卷積神經網絡的深度學習算法。此類型的方法對數據集的依賴嚴重，很容易存在過擬合。因此，若測試數據與訓練數據非獨立分布，則分類器很容易誤檢測。因此在訓練過程當中為了提高深度學習算法的準確度，需要在訓練集中增加一些合成圖片，通過對合成圖片的判別及反饋進一步提高車輛檢測模型的魯棒性。

有鑒于此，建立一種測試基于深度學習的車輛檢測模型魯棒性的方法和裝置是非常具有意義的。

發明內容

針對上述提到現有技術中車輛檢測模型依賴于深度學習的數據集，存在過擬合等問題。本申請的實施例的目的在于提出了一種測試基于深度學習的車輛檢測模型魯棒性的方法和裝置來解決以上背景技術部分提到的技術問題。

第一方面，本申請的實施例提供了一種測試基于深度學習的車輛檢測模型魯棒性的方法，包括以下步驟：

數據獲取步驟，獲取道路交通場景下的車輛圖片，并根據車輛圖片建立相對應的CAD模型；

參數化紋理生成網絡模型訓練步驟，建立參數化紋理生成網絡模型并進行訓練，參數化紋理生成網絡模型包括深度神經網絡、三角網格模型和深度卷積生成網絡，通過深度神經網絡對車輛圖片進行特征提取，得到第一特征，通過三角網格模型對CAD模型進行特征提取，得到第二特征，將第一特征和第二特征連接起來作為深度卷積生成網絡的輸入，深度卷積生成網絡的輸出為參數化紋理圖片；

表觀渲染步驟，收集指定車型的車輛的CAD模型所對應的二維圖片，并將二維圖片及其對應的CAD模型輸入參數化紋理生成網絡模型，得到對應的參數化紋理圖片，并計算參數化紋理圖片的圖像均值，對圖像均值添加噪聲并結合CAD模型得到合成車輛圖片；

判別步驟，將合成車輛圖片輸入車輛分類網絡，得到判別結果，記錄判別結果中所有被分類為非車輛的圖片所對應的參數化紋理圖片，并將非車輛的圖片所對應的參數化紋理圖片進行建模，得到最終的對抗樣本圖片；以及

測試步驟，將車身粘貼有對抗樣本圖片的車輛圖片輸入被測的車輛檢測模型，得到車輛檢測模型檢測到的車輛的數目，根據數目計算出表征車輛檢測模型魯棒性的魯棒度。

在一些實施例中，數據獲取步驟中車輛圖片通過分析道路交通場景下監控攝像頭、道路和車輛之間的位置關系獲得。采集大量的道路交通場景下的車輛圖片可以得到與道路交通場景相關的隱式特征。

在一些實施例中，參數化紋理生成網絡模型訓練步驟還包括：將參數化紋理圖片與CAD模型結合進行紋理貼圖，獲得紋理貼圖后的車輛圖片，根據輸入的車輛圖片和紋理貼圖后的車輛圖片之間的重構誤差損失進行反向傳播更新，對參數化紋理生成網絡模型的參數進行調整，實現對參數化紋理生成網絡模型的訓練。通過紋理貼圖后的圖片對參數化紋理生成網絡模型進行訓練，得到訓練好的參數化紋理生成網絡模型。

在一些實施例中，判別步驟中的建模采用k個自由度的混合高斯模型對非車輛的圖片所對應的參數化紋理圖片進行建模。對參數化紋理圖片進行建模可以得到最終的對抗樣本。