[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)壓縮方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110472664.8
• 申請日: 2021-04-29
• 公開（公告）號: CN113159297A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計）人: 沈煜;馮志芳;胡英俊
• 申請（專利權(quán)）人: 上海陣量智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

本公開提供了一種神經(jīng)網(wǎng)絡(luò)壓縮方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)，其中，該方法包括：從待壓縮神經(jīng)網(wǎng)絡(luò)的多個中間層中，確定目標(biāo)中間層；基于所述待壓縮神經(jīng)網(wǎng)絡(luò)和訓(xùn)練數(shù)據(jù)，確定所述目標(biāo)中間層的目標(biāo)輸入數(shù)據(jù)；基于所述目標(biāo)中間層對所述目標(biāo)輸入數(shù)據(jù)進(jìn)行處理后，基于處理結(jié)果的壓縮處理結(jié)果，確定所述待壓縮神經(jīng)網(wǎng)絡(luò)的第一輸出數(shù)據(jù)；基于所述第一輸出數(shù)據(jù)對所述待壓縮神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，并返回執(zhí)行確定目標(biāo)中間層的步驟，直至所述待壓縮神經(jīng)網(wǎng)絡(luò)的所述多個中間層的處理結(jié)果都被壓縮處理。

技術(shù)領(lǐng)域

本公開涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體而言，涉及一種神經(jīng)網(wǎng)絡(luò)壓縮方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)。

背景技術(shù)

深度學(xué)習(xí)是一種計算密集型的算法，隨著處理任務(wù)的多樣性及復(fù)雜度越來越高，對算法準(zhǔn)確性及實時性要求不斷增高，因此神經(jīng)網(wǎng)絡(luò)的規(guī)模越來越大，從而需要更多的計算及存儲資源的開銷，從而給神經(jīng)網(wǎng)絡(luò)的部署帶來了壓力。

相關(guān)技術(shù)中，在對神經(jīng)網(wǎng)絡(luò)進(jìn)行壓縮時，一般是在訓(xùn)練完成后，再對神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)進(jìn)行壓縮處理，這種方法雖然減少了神經(jīng)網(wǎng)絡(luò)的計算量，節(jié)省了一定的存儲空間，但是壓縮程度并不高，因此需要一種更優(yōu)化的壓縮方法。

發(fā)明內(nèi)容

本公開實施例至少提供一種神經(jīng)網(wǎng)絡(luò)壓縮方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)。

第一方面，本公開實施例提供了一種神經(jīng)網(wǎng)絡(luò)壓縮方法，包括：

從待壓縮神經(jīng)網(wǎng)絡(luò)的多個中間層中，確定目標(biāo)中間層；

基于所述待壓縮神經(jīng)網(wǎng)絡(luò)和訓(xùn)練數(shù)據(jù)，確定所述目標(biāo)中間層的目標(biāo)輸入數(shù)據(jù)；

基于所述目標(biāo)中間層對所述目標(biāo)輸入數(shù)據(jù)進(jìn)行處理后，基于處理結(jié)果的壓縮處理結(jié)果，確定所述待壓縮神經(jīng)網(wǎng)絡(luò)的第一輸出數(shù)據(jù)；

基于所述第一輸出數(shù)據(jù)對所述待壓縮神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，并返回執(zhí)行確定目標(biāo)中間層的步驟，直至所述待壓縮神經(jīng)網(wǎng)絡(luò)的所述多個中間層的處理結(jié)果都被壓縮處理。

上述方法中，可以對待壓縮神經(jīng)網(wǎng)絡(luò)的多個中間層的處理結(jié)果進(jìn)行壓縮處理，這樣由于中間層的處理結(jié)果的數(shù)據(jù)量較大，通過對多個中間層的處理結(jié)果進(jìn)行壓縮處理，可以進(jìn)一步節(jié)省存儲空間以及提升計算速度；且在對中間層的處理結(jié)果進(jìn)行壓縮處理時，由于是依次對多個中間層中的目標(biāo)中間層進(jìn)行壓縮處理，并在壓縮處理之后對待壓縮神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，這樣可以在提升計算速度和降低存儲空間的同時，保證了待壓縮神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)精度。

一種可能的實施方式中，基于所述目標(biāo)中間層對所述目標(biāo)輸入數(shù)據(jù)進(jìn)行處理后，基于處理結(jié)果的壓縮處理結(jié)果，確定所述待壓縮神經(jīng)網(wǎng)絡(luò)的第一輸出數(shù)據(jù)，包括：

基于所述目標(biāo)中間層對所述目標(biāo)輸入數(shù)據(jù)進(jìn)行處理后，對處理結(jié)果進(jìn)行壓縮處理，得到第一中間處理數(shù)據(jù)；

基于所述第一中間處理數(shù)據(jù)，確定所述待壓縮神經(jīng)網(wǎng)絡(luò)的第一輸出數(shù)據(jù)。

一種可能的實施方式中，所述從待壓縮神經(jīng)網(wǎng)絡(luò)的多個中間層中，確定目標(biāo)中間層，包括：

確定所述待壓縮神經(jīng)網(wǎng)絡(luò)的多個中間層中未進(jìn)行壓縮處理的候選中間層；以及，基于預(yù)設(shè)的訓(xùn)練完成次數(shù)和所述待壓縮神經(jīng)網(wǎng)絡(luò)的中間層的第一個數(shù)，確定所述目標(biāo)中間層所包括的中間層的第二個數(shù)；

按照所述第二個數(shù)從所述候選中間層中確定待處理的目標(biāo)中間層。

這樣，通過確定多個中間層中的目標(biāo)中間層，可以實現(xiàn)對多個中間層的分層處理，從而降低了所述待壓縮神經(jīng)網(wǎng)絡(luò)在處理后，網(wǎng)絡(luò)精度下降較大的風(fēng)險。

一種可能的實施方式中，所述按照所述第二個數(shù)從所述候選中間層中確定待處理的目標(biāo)中間層，包括：

按照所述待壓縮神經(jīng)網(wǎng)絡(luò)的多個中間層對應(yīng)的壓縮順序和所述第二個數(shù)，從所述候選中間層中確定所述待處理的目標(biāo)中間層。