[發明專利]有效提升卷積神經網絡穩健性的方法

有效

• 申請號: 201611131712.2
• 申請日: 2016-12-09
• 公開（公告）號: CN106779070B
• 公開（公告）日: 2019-08-27
• 發明（設計）人: 田新梅;沈旭;孫韶言;陶大程
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發明公開了一種有效提升卷積神經網絡穩健性的方法，包括：在訓練過程中，首先將輸入的特征圖進行二維變換后進行前向傳遞，前向傳遞過程時，對二維變換后的特征圖進行分級的且基于塊能量大小的塊重排序操作；然后進行反向傳遞，反向傳遞過程時，將塊排序操作后每個像素點的誤差傳遞給排序前對應的像素點；在測試過程中，采用訓練過程的方式，將輸入的特征圖進行二維變換后進行分級的且基于塊能量大小的塊重排序操作。該方法在沒有引入新的參數或者對輸入圖像做額外的處理下，可以有效提升卷積神經網絡穩健性。

技術領域

本發明涉及圖像分類，圖像檢索等技術領域，尤其涉及一種有效提升卷積神經網絡穩健性的方法。

背景技術

在互聯網高速發展的今天，尤其是圖像視頻的普及，使得我們每時每刻都需要進行圖像識別和檢索。近些年來深度學習技術在圖像識別的相關領域取得了突破性的進展，已經極大地超越了傳統算法的性能，識別的準確性得到了大大地提升。深度學習中進行圖像識別主要采用的模型為卷積神經網絡，該模型主要包含了卷積和池化兩個操作，通過這兩種操作搭建一個逐層疊加的深度神經網絡，實現從局部到全局，具體到抽象的逐層語義提取，最終得到的高層抽象語義特征對于圖像分類和檢索等圖像識別相關任務非常有用。

現有的卷積神經網絡結構對于圖像的變換不是特別穩健，比如，圖像經過旋轉、平移等二維變換之后，再通過卷積神經網絡進行特征表達，我們會發現其提取出來的高層特征差異會非常大，直接導致識別準確率和穩健性急劇下降。

為了提高卷積神經網絡對于圖像變換的穩健性，特別是比較大尺度的、全局的變換，現有的算法主要有三種。

第一種是在訓練過程中，人為地對圖像進行多種不同的變換以產生更多的訓練樣本，然后將人為變換之后的樣本加上原來的樣本一起輸入卷積神經網絡進行訓練，這樣一來，增加了樣本的多樣性，使得卷積神經網絡對于圖像的變換有更充分的學習。

第二種方法是對于卷積神經網絡的每一層卷積層的輸出(我們稱之為特征圖)進行多個尺度的平移或者多角度的旋轉，然后將這些變換產生的結果進行綜合，然后再繼續傳遞給下一層。

第三種方法是在將圖像輸入到卷積神經網絡去之前，首先用另外一個專門的神經網絡來學習圖像的合理變換，將圖像先根據學到的變換進行逆變換操作，使之處于一個更加正常，更加容易辨別的變換尺度上，如此也能獲得效果的提升。

上述三種算法在學習模型的過程中，為了提升穩健性，要么引入新的特征提取模塊，要么增加新的學習參數，要么需要對輸入的圖像做額外的處理，這就使得在大規模的圖像處理中，復雜度特別高，而且在把訓練好的模型應用到新問題上的時候，其泛化能力也會受到影響。

發明內容

本發明的目的是提供一種有效提升卷積神經網絡穩健性的方法，在沒有引入新的參數或者對輸入圖像做額外的處理下，可以有效提升卷積神經網絡穩健性。

本發明的目的是通過以下技術方案實現的：

一種有效提升卷積神經網絡穩健性的方法，包括：

在訓練過程中，首先將輸入的特征圖進行二維變換后進行前向傳遞，前向傳遞過程時，對二維變換后的特征圖進行分級的且基于塊能量大小的塊重排序操作；然后進行反向傳遞，反向傳遞過程時，將塊排序操作后每個像素點的誤差傳遞給排序前對應的像素點；

在測試過程中，采用訓練過程的方式，將輸入的特征圖進行二維變換后進行分級的且基于塊能量大小的塊重排序操作。

所述進行分級的且基于塊能量大小的塊重排序操作包括：

塊重排序操作時的分級是針對同一個卷積層的每一個特征圖獨立進行，同一卷積層中，對于上一級輸出的特征圖，下一級均將特征圖中每一個小塊再細分成n×n個同等大小的子塊，下一級的重排序操作僅在每一小塊內的子塊中獨立進行，其中，n為預設的超參數；