[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)解耦方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010559024.6
• 申請(qǐng)日: 2020-06-18
• 公開（公告）號(hào): CN111723912A
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 王振寧;許金泉;王溢;曾爾曼
• 申請(qǐng)（專利權(quán)）人: 南強(qiáng)智視（廈門）科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 泉州市潭思專利代理事務(wù)所(普通合伙) 35221
• 代理人: 廖仲禧;麻艷

本發(fā)明公開一種神經(jīng)網(wǎng)絡(luò)解耦方法，包括如下步驟：步驟1，對(duì)于神經(jīng)網(wǎng)絡(luò)的每個(gè)卷積層，根據(jù)該卷積層中各個(gè)濾波器的重要性選取參與計(jì)算的濾波器；步驟2，基于互信息損失函數(shù)、KL?散度損失函數(shù)和稀疏損失函數(shù)對(duì)步驟1得到的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。此種方法對(duì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行解耦，從而針對(duì)不同的輸入可以生成不同的計(jì)算路徑，然后進(jìn)一步解釋神經(jīng)網(wǎng)絡(luò)的工作原理，加速神經(jīng)網(wǎng)絡(luò)的推理，增強(qiáng)神經(jīng)網(wǎng)絡(luò)的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種可解釋的神經(jīng)網(wǎng)絡(luò)解耦方法。

背景技術(shù)

近年來，隨著硬件GPU快速發(fā)展及大數(shù)據(jù)時(shí)代的來臨，深度學(xué)習(xí)得到了迅猛發(fā)展，已席卷人工智能各個(gè)領(lǐng)域，包括語(yǔ)音識(shí)別、圖像識(shí)別、視頻跟蹤、自然語(yǔ)音處理等在內(nèi)的圖、文、視頻領(lǐng)域。深度學(xué)習(xí)技術(shù)突破了傳統(tǒng)技術(shù)方法，大大提高各領(lǐng)域的識(shí)別性能，特別是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNNs)強(qiáng)大的自我特征表示能力，使得它廣泛應(yīng)用于在圖像識(shí)別[1-4]、目標(biāo)檢測(cè)[5-7]、圖像檢索[8]等領(lǐng)域。但由于卷積神經(jīng)網(wǎng)絡(luò)的模型高存儲(chǔ)和難以解釋的弊端，無法直接將模型嵌入到擁有有限存儲(chǔ)空間的移動(dòng)設(shè)備端，同時(shí)也無法應(yīng)用在關(guān)鍵任務(wù)例如自動(dòng)駕駛、機(jī)器人等上面。因此，理解神經(jīng)網(wǎng)絡(luò)，并將卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的識(shí)別性能移植到移動(dòng)嵌入式設(shè)備中(如：手機(jī)、機(jī)器人、無人機(jī)、智能識(shí)別眼鏡等)，不管在軍事方面的搶險(xiǎn)救災(zāi)、敵情勘探，還是在民事方面的移動(dòng)智能識(shí)別、便民出行等起到重大的促進(jìn)作用，同時(shí)智能移動(dòng)設(shè)備也有利于改善國(guó)防防御系統(tǒng)的安全性和威懾力，對(duì)現(xiàn)代軍事對(duì)抗中以最小的代價(jià)取得勝利具有重要意義。

然而，神經(jīng)網(wǎng)絡(luò)擁有龐大的參數(shù)量以及復(fù)雜的計(jì)算過程，使得其運(yùn)算原理難以被解釋，同時(shí)限制了它們被應(yīng)用在各種嵌入式設(shè)備當(dāng)中。為了解決這類問題，之前的方法[9]通過將網(wǎng)絡(luò)看成一個(gè)整體來解釋其輸入輸出的對(duì)應(yīng)聯(lián)系，從而進(jìn)一步解釋神經(jīng)網(wǎng)絡(luò)。為了進(jìn)一步解釋神經(jīng)網(wǎng)絡(luò)內(nèi)部屬性，一些可視化方法[10,11]通過可視化網(wǎng)絡(luò)內(nèi)部特征圖，基于像素級(jí)別的分析來解釋神經(jīng)網(wǎng)絡(luò)的工作原理。除此之外，還有一部分可解釋方法[12,13]基于濾波器級(jí)別的分析，通過探索濾波器在網(wǎng)絡(luò)中扮演的角色，負(fù)責(zé)檢測(cè)的區(qū)域來解釋神經(jīng)網(wǎng)絡(luò)的原理。這些方法一般都是通過分析單個(gè)濾波器的作用來解釋網(wǎng)絡(luò)，然后后續(xù)的部分方法[14,15]發(fā)現(xiàn)多個(gè)濾波器的組合能夠更好地表征語(yǔ)義特征，因此逐漸也有一些方法[16,17]通過多個(gè)不同層的濾波器組成的計(jì)算路徑來解釋神經(jīng)網(wǎng)絡(luò)的運(yùn)行原理。

基于以上分析，本發(fā)明人針對(duì)神經(jīng)網(wǎng)絡(luò)可解釋性差的缺點(diǎn)，考慮到神經(jīng)網(wǎng)絡(luò)本身的特性，提出一種可解釋神經(jīng)網(wǎng)絡(luò)解耦方法，本案由此產(chǎn)生。

涉及的參考文獻(xiàn)：

[1].A.Krizhevsky,I.Sutskever,G E.Hinton.Imagenet classification withdeep convolutional neural networks.Advances in neural information processingsystems.2012:1097-1105.

[2].K.Simonyan,A.Zisserman.Very deep convolutional networks forlarge-scale image recognition.arXiv preprint arXiv:1409.1556,2014.

[3].C.Szegedy,W.Liu,Y.Jia,et al.Going deeper withconvolutions.Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2015:1-9.

[4].K.He,X.Zhang,S.Ren,et al.Deep residual learning for imagerecognition.Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2016:770-778.