[發(fā)明專(zhuān)利]基于離散系數(shù)的深度網(wǎng)絡(luò)模型壓縮方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210521648.8
• 申請(qǐng)日: 2022-05-13
• 公開(kāi)（公告）號(hào): CN115131646A
• 公開(kāi)（公告）日: 2022-09-30
• 發(fā)明（設(shè)計(jì)）人: 蔣雯;李祥;鄧鑫洋;耿杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06V10/82
• 分類(lèi)號(hào): G06V10/82;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳科潤(rùn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44724
• 代理人: 劉強(qiáng)強(qiáng)

本發(fā)明公開(kāi)一種基于離散系數(shù)的深度網(wǎng)絡(luò)模型壓縮方法，包括以下步驟：步驟一、構(gòu)建深度網(wǎng)絡(luò)模型；步驟二、獲取數(shù)據(jù)集樣本；步驟三、將數(shù)據(jù)集樣本輸入深度網(wǎng)絡(luò)模型，獲得特征圖集合；步驟四、計(jì)算深度網(wǎng)絡(luò)模型中各卷積核的激活值；步驟五、利用各卷積核的激活值計(jì)算各卷積核的離散系數(shù)；步驟六、根據(jù)離散系數(shù)計(jì)算各卷積核的貢獻(xiàn)度；步驟七、根據(jù)深度網(wǎng)絡(luò)模型各層卷積核的貢獻(xiàn)度對(duì)深度網(wǎng)絡(luò)模型的各層卷積核進(jìn)行刪減。本發(fā)明結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)合理，利用離散系數(shù)計(jì)算貢獻(xiàn)度，借用貢獻(xiàn)度鑒別不重要的卷積核并刪掉，解決深度網(wǎng)絡(luò)模型節(jié)點(diǎn)規(guī)模龐大的問(wèn)題，影響深度網(wǎng)絡(luò)模型精度的同時(shí)提高了運(yùn)行速度，引入離散系數(shù)，增強(qiáng)了深度網(wǎng)絡(luò)模型的可解釋性。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于離散系數(shù)的深度網(wǎng) 絡(luò)模型壓縮方法。

背景技術(shù)

隨著近些年計(jì)算機(jī)性能的快速發(fā)展，深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型成為了引 領(lǐng)本輪的人工智能熱潮的關(guān)鍵技術(shù)，得到了社會(huì)的廣泛討論與關(guān)注。深度 學(xué)習(xí)卷積網(wǎng)絡(luò)模型已經(jīng)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、音頻識(shí)別等領(lǐng)域取 得了重大成果，如應(yīng)用于視覺(jué)領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)和應(yīng)用于語(yǔ)音識(shí)別或自 然語(yǔ)言處理領(lǐng)域的遞歸神經(jīng)網(wǎng)絡(luò)等，這些神經(jīng)網(wǎng)絡(luò)技術(shù)均極大地提高了相 應(yīng)領(lǐng)域的處理精度。

深度神經(jīng)網(wǎng)絡(luò)與淺層學(xué)習(xí)相比，深度神經(jīng)網(wǎng)絡(luò)的開(kāi)發(fā)潛力巨大。然而， 盡管深度學(xué)習(xí)技術(shù)已經(jīng)取得許多不錯(cuò)的成績(jī)，但其仍然存在著一些需要攻 克的局限與缺點(diǎn)。目前深度網(wǎng)絡(luò)模型對(duì)于使用者來(lái)說(shuō)如同一個(gè)黑盒，使用 者缺乏對(duì)深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型運(yùn)行的網(wǎng)絡(luò)結(jié)構(gòu)和中間過(guò)程的清晰認(rèn)識(shí)， 使用者對(duì)深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型輸入一個(gè)參數(shù)，然后通過(guò)深度學(xué)習(xí)卷積網(wǎng) 絡(luò)模型計(jì)算后得出決策結(jié)果，但是使用者并不能清晰的知道深度學(xué)習(xí)卷積 網(wǎng)絡(luò)模型內(nèi)部決策的過(guò)程以及決策的依據(jù)是什么，從而也無(wú)法得知決策結(jié) 果是否可靠。

深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型可解釋性的缺乏嚴(yán)重制約著其進(jìn)一步落地：缺 乏可解釋性就意味著使用者無(wú)法預(yù)期黑盒的可靠性，往往不敢貿(mào)然承擔(dān)極 大風(fēng)險(xiǎn)完全依賴(lài)于用深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型去解決安全攸關(guān)領(lǐng)域中各方 面的問(wèn)題，例如軍事方面的情報(bào)搜集、敵我態(tài)勢(shì)評(píng)估，政經(jīng)方面的投資預(yù) 測(cè)、風(fēng)險(xiǎn)評(píng)價(jià)，選民投票意向分析，甚至無(wú)人駕駛、醫(yī)療領(lǐng)域。從軍事的 角度來(lái)看，真實(shí)戰(zhàn)場(chǎng)中存在的不確定因素多，環(huán)境復(fù)雜，加上來(lái)自敵方的 信息封鎖以及干擾對(duì)抗，這些不可控因素都急切要求參戰(zhàn)方對(duì)黑盒作出一 定程度的解釋?zhuān)栽鰪?qiáng)其在惡劣環(huán)境中的可靠性，使之能夠真正發(fā)揮出應(yīng) 有的價(jià)值。此外，深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型可解釋性的嚴(yán)重匱乏也導(dǎo)致了其 可靠性方面面臨的諸多質(zhì)疑。而在某些應(yīng)用場(chǎng)景中，哪怕只是微小的擾動(dòng)， 都有可能會(huì)影響系統(tǒng)運(yùn)作的性能。為了提高深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型的可解 釋性和透明性，建立用戶(hù)與深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型之間的信任關(guān)系，消除 深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型在實(shí)際部署應(yīng)用中的潛在威脅，國(guó)內(nèi)研究人員也對(duì) 其黑盒特性進(jìn)行深入研究，提升智能算法的可理解性、透明性和可信性。

綜上所述，深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型透明性、可解釋性、可信性不足， 使得其無(wú)法直接應(yīng)用于安全敏感任務(wù)中。因此對(duì)深度學(xué)習(xí)技術(shù)的可理解 性、透明性和可信性展開(kāi)深入研究，簡(jiǎn)化和理解深度學(xué)習(xí)卷積網(wǎng)絡(luò)模型， 可以為軍事研究、社會(huì)進(jìn)步提供一個(gè)強(qiáng)有力的工具，具有極為重大的實(shí)際 意義。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題在于針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一 種基于離散系數(shù)的深度網(wǎng)絡(luò)模型壓縮方法，其結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)合理，利用離 散系數(shù)計(jì)算貢獻(xiàn)度，借用貢獻(xiàn)度鑒別不重要的卷積核并刪掉，解決深度網(wǎng)絡(luò) 模型節(jié)點(diǎn)規(guī)模龐大的問(wèn)題，影響深度網(wǎng)絡(luò)模型精度的同時(shí)提高了運(yùn)行速度， 引入離散系數(shù)，增強(qiáng)深度網(wǎng)絡(luò)模型的可解釋性，使用效果好。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案是：一種基于離散系數(shù) 的深度網(wǎng)絡(luò)模型壓縮方法，其特征在于：包括以下步驟：

步驟一、構(gòu)建深度網(wǎng)絡(luò)模型，深度網(wǎng)絡(luò)模型具有k個(gè)卷積層；

步驟二、獲取數(shù)據(jù)集樣本，將數(shù)據(jù)集樣本均分為n類(lèi)，每一類(lèi)樣本類(lèi)別 均包括m個(gè)樣本，