[發明專利]基于特征空間變化的蒸餾學習方法、系統、裝置

有效

• 申請號: 201910360632.1
• 申請日: 2019-04-30
• 公開（公告）號: CN110135562B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 劉雨帆;胡衛明;杜貴和;原春鋒;李兵;王佳穎;葉子
• 申請（專利權）人: 中國科學院自動化研究所;國網通用航空有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種適用于嵌入式設備的基于特征空間變化的蒸餾學習方法，其特征在于，包括：

步驟S10，根據蒸餾學習的教師網絡的通道數、計算復雜度、存儲空間要求，構建蒸餾學習的學生網絡；

步驟S20，選取所述教師網絡預設層、所述學生網絡的相應層作為樣本蔟，分別計算每個樣本蔟的樣本在所述教師網絡、學生網絡中每一層的特征空間表示；

步驟S30，基于所述每個樣本蔟的樣本在教師網絡、學生網絡中每一層的特征空間表示，分別計算所述教師網絡、學生網絡的跨層特征空間變化矩陣；

步驟S40，基于所述教師網絡、學生網絡的跨層特征空間變化矩陣，計算目標損失函數并通過所述目標損失函數將所述教師網絡的跨層特征空間變化作為知識遷移到所述學生網絡中，獲得學習后的學生網絡。

2.根據權利要求1所述的適用于嵌入式設備的基于特征空間變化的蒸餾學習方法，其特征在于，步驟S10中“根據蒸餾學習的教師網絡的通道數、計算復雜度、存儲空間要求，構建蒸餾學習的學生網絡”，其方法為：

步驟S11，提取教師網絡的通道數、計算復雜度、存儲空間要求：

T＝{C_T,S_T,N_T}

其中，T代表教師網絡，C_T代表教師網絡計算復雜度，S_T代表教師網絡存儲空間要求，N_T代表教師網絡通道數；

步驟S12，所述學生網絡采用與所述教師網絡相同的網絡結構，學生網絡的計算復雜度要求為C_S，學生網絡的存儲空間消耗要求S_S，學生網絡的通道數N_S，構建學生網絡：

S＝{C_S,S_S,N_S}

其中，C_S、S_S為預先設定的，N_S根據教師網絡通道數N_T計算：

N_S＝min{N_T*(C_S/C_T),N_T*sqrt(S_S/S_T)}

其中，sqrt()代表平方根計算，min()代表求最小數。

3.根據權利要求1所述的適用于嵌入式設備的基于特征空間變化的蒸餾學習方法，其特征在于，步驟S20中“選取所述教師網絡預設層、所述學生網絡的相應層作為樣本蔟，分別計算每個樣本蔟的樣本在所述教師網絡、學生網絡中每一層的特征空間表示”，其方法為：

步驟S21，選取所述教師網絡預設層、所述學生網絡的相應層作為樣本蔟，分別提取樣本蔟中每個樣本的樣本特征；

步驟S22，分別對所述樣本特征進行全局平均池化，獲得每個樣本蔟的樣本在所述教師網絡、學生網絡中每一層的特征空間表示。

4.根據權利要求1所述的適用于嵌入式設備的基于特征空間變化的蒸餾學習方法，其特征在于，步驟S30中“基于所述每個樣本蔟的樣本在教師網絡、學生網絡中每一層的特征空間表示，分別計算所述教師網絡、學生網絡的跨層特征空間變化矩陣”，其方法為：

步驟S31，基于所述每個樣本蔟的樣本在教師網絡、學生網絡中每一層的特征空間表示，分別計算所述教師網絡、學生網絡樣本簇中每個樣本的跨層特征空間變化；

步驟S32，基于所述教師網絡、學生網絡樣本簇中每個樣本的跨層特征空間變化，分別計算所述教師網絡、學生網絡的特征空間變化矩陣。

5.根據權利要求1所述的適用于嵌入式設備的基于特征空間變化的蒸餾學習方法，其特征在于，所述目標損失函數，其計算方法為：

Loss_Total＝Loss_GT+λLoss_Trans

其中，Loss_Total代表目標損失函數；Loss_GT代表分類損失函數；Loss_Trans代表基于特征空間變化的損失函數，λ為空間變化損失函數的權重。