[發(fā)明專利]一種基于剪枝順序主動(dòng)學(xué)習(xí)的模型壓縮方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811501702.2
• 申請(qǐng)日: 2018-12-10
• 公開（公告）號(hào): CN109657780A
• 公開（公告）日: 2019-04-19
• 發(fā)明（設(shè)計(jì)）人: 丁貴廣;鐘婧
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京八月瓜知識(shí)產(chǎn)權(quán)代理有限公司 11543
• 代理人: 陳娟

本發(fā)明提供了一種基于剪枝順序主動(dòng)學(xué)習(xí)的模型壓縮方法，提出了一個(gè)端到端的基于順序主動(dòng)學(xué)習(xí)的剪枝框架，可以主動(dòng)學(xué)習(xí)網(wǎng)絡(luò)各層的重要性，生成剪枝優(yōu)先級(jí)，做出合理的剪枝決策，解決了已有簡單順序剪枝方法的不合理問題，優(yōu)先在影響力最小的網(wǎng)絡(luò)層剪枝，從簡到難逐步剪枝，最小化剪枝過程的模型精度損失；同時(shí)以模型最終損失為導(dǎo)向，多角度、高效、靈活快速地評(píng)估卷積核重要性，以保證全流程模型壓縮的正確性和有效性，為后續(xù)的大模型移植到便攜設(shè)備提供技術(shù)支撐。實(shí)驗(yàn)結(jié)果表明，本發(fā)明提供的基于剪枝順序主動(dòng)學(xué)習(xí)的模型壓縮方法在多個(gè)數(shù)據(jù)集、多模型結(jié)構(gòu)下表現(xiàn)領(lǐng)先，可以在保證模型精度的情況下，極大壓縮模型體積，具有很強(qiáng)的實(shí)際應(yīng)用前景。

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)模型技術(shù)領(lǐng)域，尤其涉及一種基于剪枝順序主動(dòng)學(xué)習(xí)的模型壓縮方法。

背景技術(shù)

近年來，隨著深度神經(jīng)網(wǎng)絡(luò)的蓬勃發(fā)展，學(xué)術(shù)圈和工業(yè)界共同目睹了深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理等眾多領(lǐng)域的重大突破。卷積神經(jīng)網(wǎng)絡(luò)(CNN)在某些視覺領(lǐng)域的表現(xiàn)力，甚至超過了人類的視覺處理能力。

盡管深度網(wǎng)絡(luò)在視覺領(lǐng)域取得重大的突破，但模型的大小和計(jì)算量卻成為其在實(shí)際應(yīng)用中的瓶頸。深度網(wǎng)絡(luò)應(yīng)用在現(xiàn)實(shí)場景，需要依附硬件的快速計(jì)算能力、大量存儲(chǔ)空間和電池容量。大規(guī)模神經(jīng)網(wǎng)絡(luò)可以高效地運(yùn)行在機(jī)房的服務(wù)器中，由GPU快速計(jì)算，卻難以應(yīng)用在資源有限的移動(dòng)設(shè)備和低頻CPU，比如智能手機(jī)、可穿戴裝備等。受此限制，深度學(xué)習(xí)的眾多科研成果難以轉(zhuǎn)化到實(shí)際可應(yīng)用的場景。為了解決這個(gè)難題，近年來研究人員提出了很多模型壓縮的方法，旨在壓縮模型大小，提高模型運(yùn)行速度，且盡量保持模型精度不變，從而實(shí)現(xiàn)將壓縮后的模型移植到小型設(shè)備中使用。模型壓縮的本質(zhì)，是產(chǎn)生一個(gè)小型模型，使它和大規(guī)模網(wǎng)絡(luò)有著同樣的表現(xiàn)力。這對(duì)研究人員來說是一個(gè)極大的挑戰(zhàn)，大規(guī)模網(wǎng)絡(luò)是經(jīng)過專家學(xué)者精心設(shè)計(jì)并驗(yàn)證有效的網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)到的每一個(gè)參數(shù)都對(duì)網(wǎng)絡(luò)整體的表現(xiàn)做出貢獻(xiàn)，不恰當(dāng)?shù)纳釛壞承﹨?shù)勢(shì)必會(huì)損害模型效果。實(shí)際場景如果需要一個(gè)極其小的模型，則需要平衡模型復(fù)雜度和模型效果之間的關(guān)系，適當(dāng)做出某方面舍棄

主流的模型壓縮方法分為幾個(gè)分支，第一類是“神經(jīng)網(wǎng)絡(luò)修剪”，包括稀疏化剪枝和結(jié)構(gòu)化剪枝兩個(gè)方法。剪枝方法的重點(diǎn)在評(píng)估網(wǎng)絡(luò)連接權(quán)重，剪掉對(duì)網(wǎng)絡(luò)影響較小的權(quán)重，并且通過重訓(xùn)練來恢復(fù)模型的精度。稀疏化剪枝零散地剪掉網(wǎng)絡(luò)中低重要性連接，可以很大程度上壓縮模型大小，減小內(nèi)存開銷；但受限于底層庫的實(shí)現(xiàn)，在網(wǎng)絡(luò)加速上仍存在困難。而結(jié)構(gòu)化剪枝可以很好地保持卷積核結(jié)構(gòu)的規(guī)則形狀，通常以卷積核作為剪枝基本單位；結(jié)構(gòu)化剪枝后的網(wǎng)絡(luò)模型，結(jié)構(gòu)規(guī)則且完整，可以直接按照傳統(tǒng)卷積方法進(jìn)行加速處理。另一類是“神經(jīng)網(wǎng)絡(luò)參數(shù)轉(zhuǎn)移和共享”，即通過參數(shù)量化、低階估計(jì)或者知識(shí)萃取等方式壓縮網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)參數(shù)轉(zhuǎn)移和共享的方法通常作為模型剪枝的后續(xù)壓縮步驟，可以進(jìn)一步壓縮網(wǎng)絡(luò)模型；單獨(dú)使用無法在保持模型精度的情況下大規(guī)模壓縮網(wǎng)絡(luò)體積。第三類是“神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)”，通過人為設(shè)計(jì)新的網(wǎng)絡(luò)結(jié)構(gòu)，或者機(jī)器自動(dòng)搜索設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)的方法，直接設(shè)計(jì)一款小型神經(jīng)網(wǎng)絡(luò)。自動(dòng)設(shè)計(jì)網(wǎng)絡(luò)可以釋放人工勞動(dòng)，給特定場景，特定數(shù)據(jù)的任務(wù)量身定做最合適的網(wǎng)絡(luò)結(jié)構(gòu)，但是該方法的復(fù)雜度非常高，需要消耗大量的計(jì)算資源，否則無法達(dá)到既定目標(biāo)。

從目前的情況來看，結(jié)構(gòu)化剪枝是在壓縮網(wǎng)絡(luò)體積和提高模型運(yùn)行速度兩方面最有效的方法。現(xiàn)有的結(jié)構(gòu)化剪枝技術(shù)主要包括采用順序剪枝或者全局剪枝兩種方式。順序剪枝預(yù)先設(shè)定了剪枝順序，按照從前到后、從后到前的方式逐層剪枝，在每一層按照一定比例減去相對(duì)不重要的卷積核。全局剪枝方式設(shè)定一個(gè)重要性閾值，在每一輪剪枝過程中，小于該閾值的該網(wǎng)絡(luò)所有卷積核被同時(shí)剪掉。實(shí)際上，深度模型壓縮是一個(gè)系統(tǒng)級(jí)別的任務(wù)，需要根據(jù)全局模型做出剪枝決策。現(xiàn)有方法將研究重點(diǎn)放在評(píng)估卷積核重要性上，但剪枝策略過于簡單，導(dǎo)致效果并不理想。然而，有一個(gè)重要的現(xiàn)象被忽視，每個(gè)卷積層有著不同的重要性：如果在一個(gè)重要的卷積層上減去極少數(shù)卷積核，整體模型的精度也可能會(huì)大幅下降；反之，如果在一個(gè)不重要的卷積層上，即使剪去大量卷積核，也可幾乎不對(duì)精度造成影響，按照順序剪枝或者全局剪枝的方式顯然沒有考慮到各個(gè)卷積層的重要性對(duì)剪枝結(jié)果產(chǎn)生的影響。

發(fā)明內(nèi)容