[發明專利]一種基于知識蒸餾的多模小目標檢測方法

有效

• 申請號: 202110798886.9
• 申請日: 2021-07-15
• 公開（公告）號: CN113449680B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 李偉;王昊;黃展超;陶然
• 申請（專利權）人: 北京理工大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 成都方圓聿聯專利代理事務所(普通合伙) 51241
• 代理人: 鄧永紅

本發明公開了一種基于知識蒸餾的多模小目標檢測方法，包括構建可見光?多光譜圖像數據本征知識遷移模型，利用空譜聯合的非局部特征金字塔視覺注意力結構進行特征精煉，以及通過基于空譜聯合特征遷移的知識蒸餾模型精煉多光譜空譜聯合特征得到高精度、高效率深度神經網絡三個主要步驟。本發明能夠利用可見光大數據對目標本征知識進行遷移解決多光譜數據樣本不充足的問題，通過非局部注意力提升檢測識別魯棒性，并且通過知識蒸餾后的神經網絡參數數量精簡、計算資源開銷降低，能夠輕量化運行。

技術領域

本發明涉及多模小目標檢測識別，特別是涉及一種基于知識蒸餾的多模小目標檢測方法。

背景技術

通過多模成像，既有空間信息，還有光譜信息；綜合利用這些信息進行目標識別相比單獨使用可見光和紅外數據進行目標識別有大幅精度提升。該技術在諸多領域具有廣泛的應用需求，包括在海上搜救人員、船只、漂浮物等目標，在機場、城市安防系統中探測識別飛機、無人機、鳥等低慢小目標；同時它還在要地防空、航空偵測、森林防火等場景下發揮重要作用。

目前存在一些通過深度學習的方法進行多模光電小目標檢測的方法，但是在實際強對抗戰場環境場景下，可用的多光譜圖像數據樣本不足，難以支撐高精度神經網絡模型進行訓練，因此一個能解決多光譜圖像樣本不足的可訓練深度神經網絡模型是當前該領域的重要需求之一。

另一方面針對強對抗環境復雜，通過深度神經網絡模型所提取的目標特征易受復雜背景和噪聲干擾；經典的卷積運算只能提取圖像的局部領域特征，然而在復雜環境中，由于姿態、距離等變化使得目標之間的度量變得困難，無法有效捕捉不同目標所在不同區域特征之間的關聯性，這些問題都制約了目標檢測定位精度的提升和其魯棒性。

在深度神經網絡模型實際訓練時，會遇到多光譜圖像高維度輸入導致深度神經網絡參數數量多、計算資源開銷大的問題，因此在高精度、高效率方面仍然需要做出較大的改進。

總結上述現存問題，可以看出，針對多光譜小目標檢測問題，需要從實際場景的多光譜數據樣本量、環境和噪聲的復雜程度、目標的特殊形態特征以及多光譜高維度的參數量進行多方面考慮，需要針對深度網絡模型的精度和效率做出較大的改進。

發明內容

本發明的目的在于克服現有技術的不足，提供一種基于知識蒸餾的多模小目標檢測方法，既能解決特定環境下多光譜數據樣本數量不足難以支撐高精度神經網絡模型訓練的問題，又具有在復雜環境和噪聲的干擾下提升模型精度和魯棒性的能力，同時模型檢測精度較高，訓練效率較高。

本發明的目的是通過以下技術方案來實現的：一種基于知識蒸餾的多模小目標檢測方法，包括以下步驟：

S1：構建可見光-多光譜圖像數據本征知識遷移模型；

S2：利用空譜聯合的非局部特征金字塔視覺注意力結構進行特征精煉；

S3：通過基于空譜聯合特征遷移的知識蒸餾模型精煉多光譜空譜聯合特征得到高精度、高效率深度神經網絡。

其中，可見光-多光譜圖像數據本征知識遷移模型由可見光大數據訓練的目標檢測識別模型剪枝得到，再利用少量多光譜圖像進行微調訓練；空譜聯合的非局部特征金字塔視覺注意力結構利用卷積層對空間-通道聯合特征進行重編碼和向量化，采用泰勒級數展開近似對非局部特征關聯建模過程進行優化；空譜聯合特征遷移的知識蒸餾精煉方法在FCOS模型的基礎上利用光-多光譜圖像數據本征知識遷移模型和空譜聯合的非局部特征金字塔視覺注意力結構增強教師網絡特征提取能力并訓練教師網絡，基于同源結構設計學生網絡，將教師網絡的增強后的特征圖作為學生網絡特征圖的訓練目，均方誤差最小化作為訓練目標，對存在目標潛在區域的部分進行知識蒸餾聯合訓練，得到知識蒸餾的高性能學生網絡模型用于目標識別。

其中構建可見光-多光譜圖像數據本征知識遷移模型流程如下：

S11:利用資源豐富、容易獲取的大量可見光圖像目標檢測數據集，訓練一個深度學習目標檢測模型。