[發(fā)明專利]一種基于通道剪枝的遷移學(xué)習(xí)加速方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910758097.5
• 申請(qǐng)日: 2019-08-16
• 公開(kāi)（公告）號(hào): CN110598848A
• 公開(kāi)（公告）日: 2019-12-20
• 發(fā)明（設(shè)計(jì)）人: 陳益強(qiáng);于超輝;王晉東
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 11280 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 王勇

本發(fā)明提供了一種基于通道剪枝的用于加速遷移學(xué)習(xí)的方法，所述方法包括下述步驟：步驟1：建立基線模型；步驟2：對(duì)源域和目標(biāo)域之間的可遷移通道進(jìn)行評(píng)估，獲取每個(gè)通道的重要度；步驟3：進(jìn)行通道剪枝；步驟4：微調(diào)訓(xùn)練，使經(jīng)過(guò)剪枝的模型收斂；步驟5：重復(fù)步驟2至4，直到經(jīng)過(guò)剪枝的模型在目標(biāo)域上的準(zhǔn)確率和模型所需要的計(jì)算量滿足預(yù)定要求。本發(fā)明的基于通道剪枝的遷移學(xué)習(xí)加速方法，將遷移學(xué)習(xí)的過(guò)程和模型剪枝過(guò)程融合為一個(gè)整體框架，在遷移的過(guò)程中同時(shí)考慮到目標(biāo)任務(wù)上的性能，而在剪枝的過(guò)程中也同時(shí)考慮到移除那些對(duì)原任務(wù)和目標(biāo)任務(wù)都不重要的參數(shù)。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)、遷移學(xué)習(xí)及模型壓縮與加速等技術(shù)領(lǐng)域，具體涉及一種基于通道剪枝的遷移學(xué)習(xí)加速方法。

背景技術(shù)

深度神經(jīng)網(wǎng)絡(luò)顯著改善了各種機(jī)器學(xué)習(xí)應(yīng)用程序的性能。然而，為了獲得更好的性能以及避免過(guò)擬合，需要大量標(biāo)記數(shù)據(jù)來(lái)訓(xùn)練深度網(wǎng)絡(luò)模型。由于手動(dòng)標(biāo)記大量訓(xùn)練數(shù)據(jù)需要花費(fèi)很多金錢和時(shí)間，因此迫切需要開(kāi)發(fā)有效的算法以減少新領(lǐng)域中的標(biāo)記工作量。為了解決這個(gè)標(biāo)定數(shù)據(jù)的難題，傳統(tǒng)的機(jī)器學(xué)習(xí)方法假設(shè)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)均屬于同一種數(shù)據(jù)分布，以此來(lái)訓(xùn)練相關(guān)的模型，實(shí)現(xiàn)數(shù)據(jù)標(biāo)定。然而，由于這些數(shù)據(jù)分布的高動(dòng)態(tài)性和高差異性，傳統(tǒng)的機(jī)器學(xué)習(xí)方法對(duì)此類問(wèn)題無(wú)法產(chǎn)生具有強(qiáng)泛化能力的求解方案。

遷移學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一大分支應(yīng)運(yùn)而生，其區(qū)別于傳統(tǒng)機(jī)器學(xué)習(xí)方法之處在于，通過(guò)找尋待標(biāo)定數(shù)據(jù)和已知標(biāo)簽數(shù)據(jù)之間的聯(lián)系，從已知標(biāo)簽的數(shù)據(jù)中學(xué)習(xí)知識(shí)，遷移到待標(biāo)定數(shù)據(jù)中，完成遷移標(biāo)定。遷移學(xué)習(xí)在解決數(shù)據(jù)分布動(dòng)態(tài)變化、數(shù)據(jù)維度不一致，以及數(shù)據(jù)類別不同的問(wèn)題時(shí)具有明顯的優(yōu)勢(shì)。遷移學(xué)習(xí)試圖將知識(shí)從已標(biāo)記的數(shù)據(jù)域(即源域)遷移到未標(biāo)記的數(shù)據(jù)域(即目標(biāo)域)，它的關(guān)鍵是學(xué)習(xí)一種判別模型來(lái)減少源域特征和目標(biāo)域特征分布之間的差異，進(jìn)而提高在目標(biāo)域上的識(shí)別精度。近年來(lái)，深度遷移學(xué)習(xí)方法在各種遷移學(xué)習(xí)任務(wù)中取得了優(yōu)異的性能，這是因?yàn)榕c傳統(tǒng)方法相比，利用深度卷積神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到更多深度可遷移的特征表示。流行的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)如AlexNet，VGGNet和ResNet，它們作為基礎(chǔ)骨干網(wǎng)絡(luò)被廣泛應(yīng)用于深度遷移學(xué)習(xí)，然后通過(guò)減少源域和目標(biāo)域之間的特征差異，進(jìn)行知識(shí)的跨域遷移。

然而，在諸如智能手機(jī)之類的資源受限的移動(dòng)端設(shè)備上部署這些深度遷移學(xué)習(xí)模型仍然具有挑戰(zhàn)性。這是由于這些深度遷移學(xué)習(xí)模型需要巨大的計(jì)算成本和存儲(chǔ)成本。為了減少模型對(duì)計(jì)算資源和存儲(chǔ)資源的需求并且加速推理過(guò)程，一種流行的解決方案是進(jìn)行模型壓縮。模型壓縮方法主要包括模型量化，權(quán)重剪枝和低秩近似。

但是，將現(xiàn)有的模型壓縮方法直接應(yīng)用于深度遷移學(xué)習(xí)是不可行的。有兩個(gè)主要挑戰(zhàn)：首先，這些模型壓縮方法是用來(lái)解決監(jiān)督學(xué)習(xí)問(wèn)題的，也就是訓(xùn)練和測(cè)試數(shù)據(jù)都是帶標(biāo)簽的。由于遷移學(xué)習(xí)問(wèn)題中目標(biāo)域數(shù)據(jù)沒(méi)有標(biāo)簽，因此不適合。其次，即使可以獲取目標(biāo)域數(shù)據(jù)的標(biāo)簽，直接將這些壓縮方法應(yīng)用于深度遷移學(xué)習(xí)，也還會(huì)涉及負(fù)轉(zhuǎn)移問(wèn)題。這是因?yàn)楝F(xiàn)有的壓縮方法并不是為遷移學(xué)習(xí)而設(shè)計(jì)的，也沒(méi)有考慮源域和目標(biāo)域之間的分布差異。目前還沒(méi)有一種有效的適用于深度遷移學(xué)習(xí)的網(wǎng)絡(luò)壓縮方法。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明設(shè)計(jì)了一種可以應(yīng)用于諸如智能手機(jī)之類的資源受限的設(shè)備終端的、基于通道剪枝的用于加速遷移學(xué)習(xí)的方法，其可以減少遷移學(xué)習(xí)過(guò)程中出現(xiàn)的負(fù)轉(zhuǎn)移的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于通道剪枝的遷移學(xué)習(xí)加速方法，其特征在于，所述方法包括下述步驟：

步驟1：基于源域和目標(biāo)域的圖像數(shù)據(jù)建立基線模型；

步驟2：在所述基線模型中對(duì)源域和目標(biāo)域之間的可遷移通道進(jìn)行評(píng)估，獲取每個(gè)通道的重要度；

步驟3：根據(jù)獲得的每個(gè)通道的重要度進(jìn)行通道剪枝以及篩選；

步驟4：對(duì)經(jīng)過(guò)剪枝篩選后的基線模型進(jìn)行調(diào)整訓(xùn)練，使其趨于收斂；