[發明專利]一種基于位置敏感圖的知識蒸餾指導方法

有效

• 申請號: 201910517256.2
• 申請日: 2019-06-14
• 公開（公告）號: CN110245754B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 常立博;盧通;杜慧敏;張霞;張麗果;王一鳴;徐一丁
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06N3/04
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 汪海艷

本發明屬于深度學習、目標檢測領域，涉及一種基于位置敏感圖的知識蒸餾指導方法，該方法通過教師網絡中指導層和學生網絡中被指導層的特征圖生成位置敏感圖，基于兩個位置敏感圖的損失函數指導學生網絡的參數更新，在不增加網絡檢測時間和參數規模的情況下，提升輕量化目標檢測網絡的性能。

技術領域

本發明屬于深度學習、目標檢測領域，尤其涉及一種基于位置敏感圖的知識蒸餾指導方法，該方法能夠在不增加網絡檢測時間和參數規模的情況下，提升目標檢測的精度。

背景技術

目標檢測的任務是從一幅圖像中找出某些特定類別的目標，包括檢測和識別兩個過程，是視頻分析、圖像語義理解等復雜視覺任務中的關鍵技術。目標檢測結果的精度會直接影響到高級計算機視覺任務的效果。目標檢測技術在許多領域有廣泛的應用，如機器人視覺、自動駕駛、智能監控、醫學圖像分析、人機交互等。

知識蒸餾是一種網絡模型壓縮方法，這類方法通過構建教師-學生框架，由教師網絡模型指導學生網絡模型的訓練，將網絡結構復雜、參數量大、學習能力強的教師網絡所學到關于特征表示的“知識”“蒸餾”出來，將這些知識遷移到網絡結構簡單、參數量少、學習能力弱的學生網絡。知識蒸餾方法能為學生網絡提供硬標注信息中學不到的軟標注信息，包括類別間信息和教師網絡學到的特征表示知識。通過知識蒸餾方法能夠在不增加網絡復雜度的情況下，提升網絡的性能。

經典知識蒸餾算法大多是針對用于圖像分類任務的卷積神經網絡，相比于目標檢測任務，圖像分類任務的輸出較為簡單，只輸出圖像分類概率向量。而目標檢測任務的輸出比較復雜，除了輸出目標分類的概率，還要輸出目標定位的坐標信息，所以目標檢測網絡的特征圖中不僅蘊含著圖像的特征信息還有目標的位置信息，因此不能簡單的將經典知識蒸餾方法應用在目標檢測網絡中。

發明內容

本發明的目的是針對深度學習輕量化目標檢測網絡，提出了一種基于位置敏感圖的知識蒸餾指導方法，在不增加網絡檢測時間和參數規模的情況下，提升輕量化目標檢測網絡的性能。

本發明的技術方案是提供一種基于位置敏感圖的知識蒸餾指導方法，包括基于位置敏感圖的指導與基于網絡輸出和標注信息的指導；

通過基于位置敏感圖的指導獲得基于位置敏感圖的指導損失函數，通過基于網絡輸出與標注信息的指導，獲得基于網絡輸出的指導損失函數及基于標注信息的指導損失函數；

利用基于位置敏感圖的指導損失函數、基于網絡輸出的指導損失函數及基于標注信息的指導損失函數加權相加后獲得總體指導損失函數，利用總體指導損失函數指導學生網絡的參數更新；

其中基于位置敏感圖的指導包括以下步驟：

S1、選取教師網絡中的至少一個網絡層作為指導層；選取學生網絡中的至少一個網絡層作為被指導層；指導層與被指導層一一對應；

S2、獲得教師網絡與學生網絡的多通道位置敏感圖；

S21、根據希望獲得的位置敏感圖的通道數分別將指導層與被指導層輸出特征圖均分為C組，其中組數與位置敏感圖的通道數相同，組數為2的冪次方的整數；

S22、分別對指導層與被指導層中每組輸出特征圖進行3D最大值池化，得到至少一組教師網絡多通道位置敏感圖及至少一組學生網絡多通道位置敏感圖，其中C為大于等于1的正整數；

當指導層與被指導層輸出特征圖通道數不一致時，根據希望獲得的位置敏感圖的通道數，將指導層均分為C組，每一組包含有M個特征圖，分別對每組輸出特征圖進行3D最大值池化，將被指導層均分為C組，每一組包含有N個特征圖，分別對每組輸出特征圖進行3D最大值池化。

S3、對獲得的教師網絡多通道位置敏感圖及對應的學生網絡多通道位置敏感圖作損失，得到基于位置敏感圖的指導損失函數。

進一步地，基于位置敏感圖的指導損失函數為：