[發明專利]一種基于圖片蒸餾的通用物體檢測系統及其實現方法

有效

• 申請號: 201811150901.3
• 申請日: 2018-09-29
• 公開（公告）號: CN109344897B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 王青;趙惠;陳添水;林倞
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州容大知識產權代理事務所(普通合伙) 44326
• 代理人: 劉新年

1.一種基于圖片蒸餾的通用物體檢測系統，包括：

Faster RCNN模型，用于構建Faster RCNN的網絡結構，并進行訓練，得到訓練好的Faster RCNN模型；

Wae Faster RCNN檢測模型，用于將輸入圖像分解成兩個分辨率只有原圖一半的子圖，構建Wae Faster RCNN網絡結構，利用Wae Faster RCNN網絡結構分別對低頻子圖和高頻子圖進行物體檢測，然后將兩個子圖的檢測結果進行融合得到最終檢測結果；

訓練指導單元，用于對所述Wae Faster RCNN檢測模型進行訓練，并在所述Wae FasterRCNN檢測模型訓練時引入知識蒸餾機制，利用訓練好的Faster RCNN模型的輸出作為軟目標來指導所述Wae Faster RCNN檢測模型的訓練；

所述Wae Faster RCNN檢測模型包括：

圖像分解單元，用于利用訓練好的Anto-Encoder模型將輸入圖像分解成兩個分辨率只有原圖一半的子圖，分別為低頻子圖和高頻子圖；

檢測單元，用于構建所述Wae Faster RCNN網絡結構，利用所述Wae Faster RCNN網絡結構分別對低頻子圖和高頻子圖進行物體檢測；

融合處理單元，用于對低頻子圖與高頻子圖的檢測結果進行融合，得到融合后的檢測結果；

所述圖像分解單元采用類小波自動編碼器WAE進行圖像分解，以將輸入圖像分解成分辨率只有原圖一半的低頻子圖和高頻子圖，兩個子圖分別包含原圖的低頻信息和高頻信息；

對于低頻子圖與高頻子圖，所述檢測單元分別構建所述Wae Faster RCNN網絡結構的低頻子網絡和高頻子網絡，該低頻子網絡的RPN和Fast RCNN，采用完整版Faster RCNN的RPN和Fast RCNN，該高頻子網絡的RPN和Fast RCNN，采用輕量版Faster RCNN的RPN和FastRCNN。

2.如權利要求1所述的一種基于圖片蒸餾的通用物體檢測系統，其特征在于：所述輕量版Faster RCNN的部分卷積層通道數為所述完整版Faster RCNN的四分之一。

3.如權利要求1所述的一種基于圖片蒸餾的通用物體檢測系統，其特征在于：所述融合處理單元將低頻子圖的檢測結果和高頻子圖的檢測結果進行融合，作為最終的檢測結果。

4.如權利要求1所述的一種基于圖片蒸餾的通用物體檢測系統，其特征在于：所述訓練指導單元利用訓練好的Faster RCNN模型的輸出作為軟目標對所述Wae Faster RCNN檢測模型的Fast RCNN部分的訓練進行指導。

5.一種基于圖片蒸餾的通用物體檢測系統的實現方法，包括如下步驟：

步驟S1，構建Faster RCNN的網絡結構，并進行訓練，得到訓練好的Faster RCNN模型；

步驟S2，將輸入圖像分解成兩個分辨率只有原圖一半的子圖，構建Wae Faster RCNN網絡結構，利用所述Wae Faster RCNN網絡結構分別對低頻子圖和高頻子圖進行物體檢測，然后將兩個子圖的檢測結果進行融合得到最終檢測結果；

步驟S3，對所述Wae Faster RCNN檢測模型進行訓練，并在Wae Faster RCNN檢測模型訓練時引入知識蒸餾機制，利用訓練好的Faster RCNN模型的輸出作為軟目標來指導所述Wae Faster RCNN檢測模型的訓練；

步驟S2進一步包括；

步驟S201，利用訓練好的分類模型將輸入圖像分解成兩個分辨率只有原圖一半的子圖，分別為低頻子圖和高頻子圖；

步驟S202，構建Wae Faster RCNN網絡結構，利用Wae Faster RCNN網絡結構分別對低頻子圖和高頻子圖進行物體檢測,對于低頻子圖與高頻子圖，分別構建所述Wae FasterRCNN網絡結構的低頻子網絡和高頻子網絡，該低頻子網絡的RPN和Fast RCNN，采用完整版Faster RCNN的RPN和Fast RCNN，該高頻子網絡的RPN和Fast RCNN，采用輕量版FasterRCNN的RPN和Fast RCNN；

步驟S203，用于對低頻子圖與高頻子圖的檢測結果進行融合，得到融合的檢測結果。

6.如權利要求5所述的一種基于圖片蒸餾的通用物體檢測系統的實現方法，其特征在于，于步驟S3中，利用所述Faster RCNN模型的Fast RCNN得到的候選框得分指導所述WaeFaster RCNN檢測模型的Fast RCNN的候選框得分的訓練，即在每次迭代時，先將當前處理的圖片及對應的候選框輸入到所述Faster RCNN模型，進行前向傳播，得到Faster RCNN模型的候選框類別得分，將該得分除以溫度參數T，再做softmax變換，得到軟化的概率分布，即軟目標St，再將同樣的圖片及候選框輸入到Wae Faster RCNN檢測模型的Fast RCNN部分，進行前向傳播，根據所述Faster RCNN模型得到的軟目標Soft target與所述WaeFaster RCNN檢測模型得到的軟輸出Soft output計算軟損失Soft loss，并根據所述WaeFaster RCNN檢測模型得到的硬輸出Hard output和真實標簽Hard target計算硬損失Hardloss，得到總的分類部分的損失函數classify loss＝Hard loss+λSoft loss，λ是權重。