[發(fā)明專利]基于特征空間變化的蒸餾學(xué)習(xí)方法、系統(tǒng)、裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910360632.1
• 申請(qǐng)日: 2019-04-30
• 公開（公告）號(hào): CN110135562B
• 公開（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 劉雨帆;胡衛(wèi)明;杜貴和;原春鋒;李兵;王佳穎;葉子
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院自動(dòng)化研究所;國網(wǎng)通用航空有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于計(jì)算機(jī)視覺及機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及了一種基于特征空間變化的蒸餾學(xué)習(xí)方法、系統(tǒng)、裝置，旨在解決學(xué)生網(wǎng)絡(luò)無法學(xué)習(xí)教師網(wǎng)絡(luò)全局知識(shí)的問題。本發(fā)明方法包括：按照蒸餾學(xué)習(xí)教師網(wǎng)絡(luò)的參數(shù)結(jié)構(gòu)構(gòu)建對(duì)應(yīng)的學(xué)生網(wǎng)絡(luò)；分別選取預(yù)設(shè)的網(wǎng)絡(luò)層，計(jì)算每一層的特征空間表示以及特定兩個(gè)層間的跨層特征空間變化矩陣；計(jì)算基于特征空間變化的損失函數(shù)，根據(jù)真實(shí)標(biāo)簽計(jì)算分類損失函數(shù)；通過兩個(gè)損失函數(shù)的加權(quán)將教師網(wǎng)絡(luò)的特征空間變化作為知識(shí)遷移到學(xué)生網(wǎng)絡(luò)中。本發(fā)明將教師網(wǎng)絡(luò)層與層之間的特征空間變化刻畫為一種新的知識(shí)，從而，使得學(xué)生網(wǎng)絡(luò)在學(xué)習(xí)層與層之間的特征空間變化時(shí)，就學(xué)習(xí)到整個(gè)教師網(wǎng)絡(luò)全局的知識(shí)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺及機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及了一種基于特征空間變化的蒸餾學(xué)習(xí)方法、系統(tǒng)、裝置。

背景技術(shù)

蒸餾學(xué)習(xí)是計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)的一個(gè)重要研究領(lǐng)域。在蒸餾學(xué)習(xí)中，包含兩個(gè)網(wǎng)絡(luò)：一個(gè)為預(yù)訓(xùn)練好的，具有較強(qiáng)性能，但是計(jì)算復(fù)雜度高、要求存儲(chǔ)空間大的教師網(wǎng)絡(luò)；一個(gè)為待訓(xùn)練的，但是往往具有遠(yuǎn)低于教師網(wǎng)絡(luò)的計(jì)算復(fù)雜度以及存儲(chǔ)空間要求的學(xué)生網(wǎng)絡(luò)。蒸餾學(xué)習(xí)旨在從教師網(wǎng)絡(luò)中提取出有用的信息和知識(shí)來作為學(xué)生網(wǎng)絡(luò)訓(xùn)練過程中的指導(dǎo)。在教師網(wǎng)絡(luò)的指導(dǎo)下進(jìn)行訓(xùn)練學(xué)習(xí)，學(xué)生網(wǎng)絡(luò)可以獲得比單獨(dú)訓(xùn)練更加優(yōu)良的性能。如此一來，蒸餾學(xué)習(xí)可以得到高性能、低計(jì)算復(fù)雜度、低存儲(chǔ)消耗的學(xué)生網(wǎng)絡(luò)。此方法特別適用于算力有限的移動(dòng)設(shè)備和嵌入式設(shè)備。

蒸餾學(xué)習(xí)能夠訓(xùn)練得到性能更好的學(xué)生網(wǎng)絡(luò)，其根本原因在于性能強(qiáng)大的教師網(wǎng)絡(luò)在訓(xùn)練過程中提供了除了數(shù)據(jù)以外的額外有用信息。因此，如何從教師網(wǎng)絡(luò)中高效地挖掘?qū)τ趯W(xué)生有利的信息便成為了蒸餾學(xué)習(xí)的關(guān)鍵研究課題。由于蒸餾學(xué)習(xí)的首次提出是在2012年，其發(fā)展時(shí)間還十分有限，使用的方法目前也十分單一。目前流行的蒸餾學(xué)習(xí)方法幾乎都使用教師網(wǎng)絡(luò)某一層(或者某幾層)的輸出特征作為額外信息。在學(xué)習(xí)過程中，學(xué)生網(wǎng)絡(luò)通過最小化歐式距離的方法，來學(xué)習(xí)對(duì)應(yīng)層的特征，從而從教師網(wǎng)絡(luò)中遷移知識(shí)。例如，最為流行的方法將教師網(wǎng)絡(luò)輸出的預(yù)測結(jié)果作為軟標(biāo)簽，作為數(shù)據(jù)自帶的真實(shí)標(biāo)簽以外的額外標(biāo)簽，來給學(xué)生網(wǎng)絡(luò)提供知識(shí)。另外，也有方法將教師網(wǎng)絡(luò)的中間層特征抽象化為注意力圖譜，利用這些圖譜來指導(dǎo)學(xué)生網(wǎng)絡(luò)也可以獲得更佳的性能。

但是，目前流行的蒸餾學(xué)習(xí)方法將教師網(wǎng)絡(luò)每一層的特征視為互相獨(dú)立的特征空間，卻忽略了層與層之間的相關(guān)性。因此，上述的基于層輸出特征的學(xué)習(xí)方法，僅僅學(xué)習(xí)到了教師網(wǎng)絡(luò)的一部分知識(shí)。如果要學(xué)習(xí)教師網(wǎng)絡(luò)所有層的知識(shí)，需要學(xué)生網(wǎng)絡(luò)對(duì)所有層的知識(shí)進(jìn)行同時(shí)學(xué)習(xí)。然而，直接強(qiáng)行使學(xué)生網(wǎng)絡(luò)擬合教師網(wǎng)絡(luò)所有層的特征，往往沒法得到性能更佳的學(xué)生網(wǎng)絡(luò)，甚至無法使其收斂，說明直接對(duì)教師網(wǎng)絡(luò)的多層空間進(jìn)行擬合是一個(gè)不利于學(xué)習(xí)的強(qiáng)約束。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即學(xué)生網(wǎng)絡(luò)無法學(xué)習(xí)教師網(wǎng)絡(luò)全局知識(shí)的問題，本發(fā)明提供了一種基于特征空間變化的蒸餾學(xué)習(xí)方法，包括：

步驟S10，根據(jù)蒸餾學(xué)習(xí)的教師網(wǎng)絡(luò)的通道數(shù)、計(jì)算復(fù)雜度、存儲(chǔ)空間要求，構(gòu)建蒸餾學(xué)習(xí)的學(xué)生網(wǎng)絡(luò)；

步驟S20，選取所述教師網(wǎng)絡(luò)預(yù)設(shè)層、所述學(xué)生網(wǎng)絡(luò)的相應(yīng)層作為樣本蔟，分別計(jì)算每個(gè)樣本蔟的樣本在所述教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)中每一層的特征空間表示；

步驟S30，基于所述每個(gè)樣本蔟的樣本在教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)中每一層的特征空間表示，分別計(jì)算所述教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)的跨層特征空間變化矩陣；

步驟S40，基于所述教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)的跨層特征空間變化矩陣，計(jì)算目標(biāo)損失函數(shù)并通過所述目標(biāo)損失函數(shù)將所述教師網(wǎng)絡(luò)的跨層特征空間變化作為知識(shí)遷移到所述學(xué)生網(wǎng)絡(luò)中，獲得學(xué)習(xí)后的學(xué)生網(wǎng)絡(luò)。

在一些優(yōu)選的實(shí)施例中，步驟S10中“根據(jù)蒸餾學(xué)習(xí)的教師網(wǎng)絡(luò)的通道數(shù)、計(jì)算復(fù)雜度、存儲(chǔ)空間要求，構(gòu)建蒸餾學(xué)習(xí)的學(xué)生網(wǎng)絡(luò)”，其方法為：

步驟S11，提取教師網(wǎng)絡(luò)的通道數(shù)、計(jì)算復(fù)雜度、存儲(chǔ)空間要求：