[發(fā)明專利]深度神經(jīng)網(wǎng)絡(luò)模型的壓縮方法及裝置、終端、存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710266304.6
• 申請(qǐng)日: 2017-04-21
• 公開(kāi)（公告）號(hào): CN108734266A
• 公開(kāi)（公告）日: 2018-11-02
• 發(fā)明（設(shè)計(jì)）人: 林福輝;趙曉輝
• 申請(qǐng)（專利權(quán)）人: 展訊通信（上海）有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 郭學(xué)秀;吳敏

一種深度神經(jīng)網(wǎng)絡(luò)模型的壓縮方法及裝置、終端、存儲(chǔ)介質(zhì)，所述方法包括：基于所獲取的深度神經(jīng)網(wǎng)絡(luò)模型中各層的精簡(jiǎn)單元的貢獻(xiàn)度的信息，對(duì)所述深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行精簡(jiǎn)，直至精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型滿足預(yù)設(shè)的精度需求；對(duì)所述精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行重新訓(xùn)練，得到重新訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型；當(dāng)確定重新訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型不滿足預(yù)設(shè)的壓縮體積需求時(shí)，對(duì)重新訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型中的各層參數(shù)進(jìn)行迭代量化；對(duì)重新訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行N次迭代量化，直至量化后的深度神經(jīng)網(wǎng)絡(luò)模型滿足預(yù)設(shè)的壓縮體積需求。上述的方案，可以是在對(duì)深度神經(jīng)網(wǎng)絡(luò)模型壓縮時(shí)，兼顧深度神經(jīng)網(wǎng)絡(luò)模型的精度及有效性。

技術(shù)領(lǐng)域

本發(fā)明涉及信息處理技術(shù)領(lǐng)域，尤其涉及一種深度神經(jīng)網(wǎng)絡(luò)模型的壓縮方法及裝置、終端、存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著深度神經(jīng)網(wǎng)絡(luò)相關(guān)技術(shù)研究的迅速發(fā)展，相關(guān)領(lǐng)域內(nèi)涌現(xiàn)了大批與深度神經(jīng)網(wǎng)絡(luò)相關(guān)的技術(shù)，如應(yīng)用于視覺(jué)領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)和應(yīng)用于語(yǔ)音識(shí)別或自然語(yǔ)言處理領(lǐng)域的遞歸神經(jīng)網(wǎng)絡(luò)等，這些神經(jīng)網(wǎng)絡(luò)技術(shù)均極大地提高了相應(yīng)領(lǐng)域的處理精度。

深度神經(jīng)網(wǎng)絡(luò)與淺層學(xué)習(xí)相比，深度神經(jīng)網(wǎng)絡(luò)的開(kāi)發(fā)潛力巨大。通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型的多層處理結(jié)構(gòu)可以提取和分析樣本的表征特征，由淺入深地逐層變換和計(jì)算樣本特征并計(jì)算處理結(jié)果。通過(guò)對(duì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行增寬增長(zhǎng)處理，可以使深度神經(jīng)網(wǎng)絡(luò)模型獲得相對(duì)更優(yōu)的處理結(jié)果。

然而，深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)通常在百萬(wàn)、千萬(wàn)或上億數(shù)量級(jí)，因此對(duì)計(jì)算和存儲(chǔ)設(shè)備的要求較高。由于深度神經(jīng)網(wǎng)絡(luò)模型存儲(chǔ)及計(jì)算時(shí)深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)傳輸?shù)葐?wèn)題，限制了深度神經(jīng)網(wǎng)絡(luò)模型在移動(dòng)設(shè)備上的應(yīng)用。

目前，通常采用減少深度神經(jīng)網(wǎng)絡(luò)模型的參數(shù)、節(jié)點(diǎn)數(shù)目以及改變多樣性類方法，達(dá)到壓縮深度神經(jīng)網(wǎng)絡(luò)模型的目的。雖然，這樣可以對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行一定的壓縮，然而，精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型的精度及有效性較低。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問(wèn)題是在對(duì)深度神經(jīng)網(wǎng)絡(luò)模型壓縮時(shí)如何兼顧深度神經(jīng)網(wǎng)絡(luò)模型的精度及有效性。

為解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供一種深度神經(jīng)網(wǎng)絡(luò)模型的壓縮方法，包括：獲取已訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型；基于所獲取的所述深度神經(jīng)網(wǎng)絡(luò)模型中各層的精簡(jiǎn)單元的貢獻(xiàn)度的信息，對(duì)所述深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行精簡(jiǎn)，直至精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型滿足預(yù)設(shè)的精度需求；對(duì)所述精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行重新訓(xùn)練，得到重新訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型；當(dāng)確定重新訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型不滿足預(yù)設(shè)的壓縮體積需求時(shí)，分別采用各層對(duì)應(yīng)的預(yù)設(shè)量化等級(jí)，對(duì)重新訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型中的各層參數(shù)進(jìn)行迭代量化；所述迭代量化為對(duì)所述重新訓(xùn)練的所有層均進(jìn)行一次量化；對(duì)重新訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行N次迭代量化，直至量化后的深度神經(jīng)網(wǎng)絡(luò)模型滿足預(yù)設(shè)的壓縮體積需求。

可選地，所述基于所獲取的所述深度神經(jīng)網(wǎng)絡(luò)模型中各層的精簡(jiǎn)單元的貢獻(xiàn)度的信息，對(duì)所述深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行精簡(jiǎn)，包括：采用驗(yàn)證集樣本對(duì)當(dāng)前次精簡(jiǎn)前的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試，得到當(dāng)前次精簡(jiǎn)前的深度神經(jīng)網(wǎng)絡(luò)模型中各個(gè)精簡(jiǎn)單元?jiǎng)h除前后對(duì)應(yīng)的深度神經(jīng)網(wǎng)絡(luò)模型的精度改變數(shù)值；將當(dāng)前次精簡(jiǎn)前的深度神經(jīng)網(wǎng)絡(luò)模型中所有精簡(jiǎn)單元按照精度改變數(shù)值進(jìn)行排序；從當(dāng)前次精簡(jiǎn)前的深度神經(jīng)網(wǎng)絡(luò)模型中刪除預(yù)設(shè)數(shù)量的精度改變數(shù)值最小的精簡(jiǎn)單元，得到當(dāng)前次精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型；判斷當(dāng)前次精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型是否滿足所述精度需求；當(dāng)確定當(dāng)前次精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型滿足所述精度需求時(shí)，停止精簡(jiǎn)操作；當(dāng)確定所述當(dāng)前次精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型不滿足所述精度需求時(shí)，對(duì)當(dāng)前次精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型執(zhí)行下一次精簡(jiǎn)操作，直至精簡(jiǎn)后的深度神經(jīng)網(wǎng)絡(luò)模型滿足所述精度需求。

可選地，所述采用驗(yàn)證集樣本對(duì)當(dāng)前次精簡(jiǎn)前的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試，得到當(dāng)前次精簡(jiǎn)前的深度神經(jīng)網(wǎng)絡(luò)模型中各個(gè)精簡(jiǎn)單元?jiǎng)h除前后對(duì)應(yīng)的深度神經(jīng)網(wǎng)絡(luò)模型的精度改變數(shù)值，包括：