[發明專利]一種優化決策邊界增強深度神經網絡魯棒性的圖像分類方法

在審

• 申請號: 202110133058.3
• 申請日: 2021-01-29
• 公開（公告）號: CN112784915A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 劉波;杜賓
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明涉及一種優化決策邊界增強深度神經網絡魯棒性的圖像分類方法，通過計算網絡的決策域模型來計算對抗樣本，通過對抗訓練來優化神經網絡對應的決策邊界的分布，從而提高網絡魯棒性。具體為：使用訓練好的深度神經網絡的參數計算并獲得其對應的決策域模型，并使用該模型與訓練樣本判斷網絡對應的決策邊界有哪些對擾動較為敏感，并使用訓練集中的數據計算得到對擾動敏感的決策邊界周圍樣本的對抗樣本，將對抗樣本混入到訓練樣本中，對網絡進行對抗訓練，通過優化網絡參數從而使得決策邊界向敏感方向的反方向移動，降低其對擾動的敏感性，獲得魯棒性高的深度神經網絡，從而在提高網絡在分類任務中抗干擾的能力。

技術領域

本發明屬于人工智能領域，具體涉及一種優化決策邊界增強深度神經網絡魯棒性的圖像分類方法。

背景技術

深度神經網絡可以用來完成分類和回歸任務。現如今，深度神經網絡在各種分類任務中都有不錯的表現。深度神經網絡在進行分類任務時，主要依賴于深度神經網絡對樣本空間進行劃分所得到的決策域，每個決策域對應各自的類別，當樣本點落入某個決策域時則對應該樣本被網絡分類到對應決策域的類別。但對于一些特殊的圖片樣本，通過為其添加一些細小的擾動，則會使網絡對該圖片的類別進行錯誤的判斷，這種樣本即對抗樣本。對抗樣本的存在說明當前的神經網絡的魯棒性較弱，分類效果不夠穩定，在應用過程中可能會因為一些外界的因素，如傳感器信號的細微波動等，將數據誤判為別的類別，從而執行錯誤的操作。

以自動駕駛為例，現在大多使用深度神經網絡來處理車輛傳感器獲得的信號與當前操作之間的聯系，從而完成閉環操作，根據信息實時調整車輛，但車輛在復雜的情況下行駛，溫度，適度，甚至車輛的顛簸都可能使得車輛的傳感器信號受到影響，相當于對輸入的信息添加了擾動，這時使用該信息來判斷路況時，如果使用的神經網絡魯棒性不夠強，很有可能被誤分類，從而影響車輛做出錯誤的判斷，這可能會出現致命的問題。

所以為了解決這個問題，需要知道如何提高網絡的魯棒性來避免擾動的影響。當某個樣本點位于決策域的決策邊界附近時，如果添加適當的擾動使其跨過決策域的某個決策邊界，進入另一個不同類別的決策域時，該樣本就有可能成為對抗樣本，而為了避免這種情況發生，需要對這些可能的對抗樣本附近的決策域進行細微調整。此時如果能計算得到網絡所生成的決策域，就能根據樣本數據來進行調節決策域的決策域邊界，從而增強網絡的魯棒性。調整方式即使用一部分對抗樣本來對網絡進行訓練，從而在反向傳播的過程中影響網絡參數，從而使得決策域邊界相對抗樣本的方向移動，來獲得魯棒性強的網絡，降低網絡在應對現實生活中各種數據時出現錯誤的可能性。

發明內容

針對現有模型在進行圖像分類時，存在圖像添加肉眼難以察覺的細小干擾會使得類別發生改變，導致圖像分類不準確的問題，本發明提出了一種優化決策邊界增強深度神經網絡魯棒性的圖像分類方法，創新點在于提出了一套新的方法用來計算網絡決策邊界以及其拓撲性質，來構建當前網絡的決策域模型，根據分析決策邊界在樣本中的分布，選取合適的策略調節決策邊界：通過使用離決策邊界近的樣本來計算產生對抗樣本，通過對抗訓練，調整對擾動敏感的決策邊界其對應的網絡參數，也就是說優化后的神經網絡對添加了擾動的樣本更加不敏感，從而提高網絡的魯棒性。

在神經網絡中，分段線性的激活函數，如Relu、LeakRelu等激活函數的存在使得每一個神經網絡節點的表達式與激活函數的表達式的組合得到的復合表達式都對應決策空間中的一個線性超平面，這些線性超平面將樣本空間劃分成了若干個輸出函數不同的子空間，最后將這些子空間按照輸出節點的輸出函數最大的條件進一步劃分得到的子空間，就是決策域，構成決策域的超平面稱為決策邊界。每個決策域其內部樣本點使得網絡輸出響應最高的節點相同，即每個決策域內的樣本類別一致。因此決策域模型可以被認為是分類任務網絡的另一種等價表示形式，因此只要能計算出網絡的決策域就能夠直觀根據決策邊界的性質決定調整那些節點的參數。