[發明專利]一種基于圖像知識回顧的深度卷積神經網絡自蒸餾方法

在審

• 申請號: 202111221950.3
• 申請日: 2021-10-20
• 公開（公告）號: CN114022727A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 張逸;王軍;徐曉剛;何鵬飛;虞舒敏;徐凱
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝;楊小凡

本發明公開了本發明公開一種基于圖像知識回顧的深度卷積神經網絡自蒸餾方法，該方法首先針對目標網絡設置輔助網絡，在目標網絡的下采樣層引出分支，采用知識回顧的思路依次融合和連接各個分支，在訓練過程中，通過監督學習以及采用目標網絡的下采樣層向引出分支層進行學習的方式，達到自蒸餾的目的。本發明在深度卷積神經網絡自蒸餾領域引入知識回顧的思路，提高了深度卷積神經網絡的訓練精度；采用輔助網絡的形式進行自蒸餾，相對使用數據增強來拉進類內距離的自蒸餾方法，在實際應用中更加簡潔方便。

技術領域

本發明涉及人工智能及計算機視覺技術領域，尤其是涉及一種基于圖像知識回顧的深度卷積神經網絡自蒸餾方法。

背景技術

隨著智能化的發展，大規模攝像頭產生海量視頻，為了提高視頻結構化的效率，實際場景對攝像頭的端側處理能力提出了很高的要求。

針對于此，類似MobileNet、ShuffleNet等緊湊型的小型網絡模型，以低資源消耗的優勢，極大推進了端側推理性能的發展。MobileNet、ShuffleNet等緊湊型的小型網絡本身的設計，有效降低了端側的推理耗時和硬件資源消耗，然而其推理精度相對于大規模的網絡模型存在一定劣勢，在網絡結構限定的條件下，進一步提高其訓練后的精度性能具有重要意義。

在網絡結構限定的條件下，提高模型訓練精度性能的常用方法是知識蒸餾，即設定異構的結構規模較大的教師網絡和結構緊湊的學生網絡，將教師網絡學習到的信息傳遞給學生網絡。然而，實際場景中不一定可以在所有任務中都順利的獲取教師模型，有的大網絡由于數據的缺失，很難被正常的訓練出來。基于這種情況，自我學習的自蒸餾訓練策略應運而生。

目前，自蒸餾方法主要分為基于數據增強的方法和基于輔助網絡的方法，其中基于數據增強的方法在訓練過程中較為復雜，在實際應用上缺乏一定簡潔性，基于輔助網絡的方法較為簡潔，但是精度的提升與網絡的復雜度往往是一對矛盾，亟待尋求一種在自蒸餾訓練中，對精度提升較大又不過于復雜的輔助網絡，使得實際工程應用深度卷積神經網絡自蒸餾訓練中，既簡潔方便有又具有較好的精度提升。

發明內容

為解決現有技術的不足，利用知識回顧的方法，回顧融合深層網絡的語義信息和淺層網絡的信息，實現既保持輔助網絡的簡潔，同時達到提升自蒸餾訓練精度的目的，本發明采用如下的技術方案：

一種基于圖像知識回顧的深度卷積神經網絡自蒸餾方法，包括如下步驟：

S1，根據目標卷積神經網絡的原始網絡結構，構建輔助網絡，從每個下采樣層的前一層以及最后的全連接層引出分支特征；

S2，輔助網絡中待融合的分支特征A與原始網絡中更淺層的分支特征B，通過注意力融合模塊進行融合，融合后的特征尺寸與原始網絡中更淺層的分支特征B尺寸相同，將融合后特征輸入輔助網絡，并將輔助網絡的各層依次連接，為了拉近類內距離，引入注意力機制進行特征融合，所述融合，包括如下步驟：

S21，輔助網絡中待融合的分支特征A，經過上采樣操作和卷積操作，使得輔助網絡中待融合分支特征A的寬高、通道數與原始網絡中更淺層的分支特征B相同；

S22，將A與B分別進行通道注意力操作，在寬高方向進行全局平均池化和全局最大池化操作，將得到的特征相加后，經過sigmoid操作，與原分支特征在通道方向相乘，分別得到通道注意力操作后的輔助網絡中待融合的分支特征A1與原始網絡中更淺層的分支特征B1；

S23，空間注意力融合，將A1與B1在通道方向進行拼接操作，在通道方向分別進行全局平均池化和全局最大池化操作后，再次在通道方向進行拼接操作、卷積操作，經過sigmoid操作后，分別與A1、B1在寬高尺度上相乘，得到空間注意力融合后的輔助網絡中待融合的分支特征A2與原始網絡中更淺層的分支特征B2；

S24，將A2與B2相加，得到融合后的特征；