[發(fā)明專利]一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710952743.2
• 申請(qǐng)日: 2017-10-13
• 公開（公告）號(hào): CN107679619B
• 公開（公告）日: 2020-04-24
• 發(fā)明（設(shè)計(jì)）人: 高超;李邵梅;江玉朝;李英樂;劉樹新;雷娟娟;葛東東
• 申請(qǐng)（專利權(quán)）人: 中國人民解放軍信息工程大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 鄭州大通專利商標(biāo)代理有限公司 41111
• 代理人: 陳勇

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法及裝置。本發(fā)明的一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法，包括：對(duì)多個(gè)通道特征輸入映像進(jìn)行類卷積人工神經(jīng)網(wǎng)絡(luò)單個(gè)類卷積層操作；將上一類卷積層的輸出作為下一類卷積層的輸入。本發(fā)明的一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造裝置，包括：操作模塊，用于對(duì)多個(gè)通道特征輸入映像進(jìn)行類卷積人工神經(jīng)網(wǎng)絡(luò)單個(gè)類卷積層操作；輸出輸入模塊，用于將上一類卷積層的輸出作為下一類卷積層的輸入。本發(fā)明提供了一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法及裝置，可以縮短基于卷積的人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間，可以降低基于卷積的人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用能耗。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法及裝置。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)，特別是卷積人工神經(jīng)網(wǎng)絡(luò)目前已在數(shù)據(jù)處理領(lǐng)域取得了大規(guī)模應(yīng)用。但是，卷積人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練耗費(fèi)的時(shí)間非常驚人，從而導(dǎo)致人工神經(jīng)網(wǎng)絡(luò)應(yīng)用的能耗顯著增加。能夠通過利用有效的方式降低基于卷積的人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用能耗，對(duì)于高效地進(jìn)行大規(guī)模的數(shù)據(jù)處理無疑具有重大意義。而當(dāng)前廣泛使用的卷積人工神經(jīng)網(wǎng)絡(luò)中，對(duì)于輸入為多個(gè)通道的特征映像進(jìn)行卷積時(shí)，采用的是將不同通道運(yùn)算之后的卷積結(jié)果進(jìn)行直接累加。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述卷積人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練耗費(fèi)的時(shí)間過大的不足，提供了一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法及裝置，可以縮短基于卷積的人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間，可以降低基于卷積的人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用能耗。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法，包括以下步驟：

步驟1：對(duì)多個(gè)通道特征輸入映像進(jìn)行類卷積人工神經(jīng)網(wǎng)絡(luò)單個(gè)類卷積層操作；

步驟2：將上一類卷積層的輸出作為下一類卷積層的輸入。

優(yōu)選地，所述步驟1包括：

步驟1.1：計(jì)算多個(gè)通道特征輸入映像和卷積核的二維卷積結(jié)果：

對(duì)于單個(gè)類卷積層L＝{k_j},j∈{1,...,n}，計(jì)算多個(gè)通道特征輸入映像和卷積核的二維卷積結(jié)果，采用標(biāo)準(zhǔn)的二維卷積計(jì)算多個(gè)通道特征輸入映像I＝{I_i},i∈{1,...,m}和卷積核k_j的卷積結(jié)果Conv2d(I_i,k_j)；

步驟1.2：對(duì)二維卷積結(jié)果進(jìn)行加權(quán)，并將加權(quán)后的結(jié)果作為本層類卷積輸出映像：

將多個(gè)通道的二維卷積結(jié)果使用權(quán)重參數(shù)Λ＝{λ_i}進(jìn)行加權(quán)，得到輸出卷積映像O＝{O_j}，作為本類卷積層的輸出映像，O_j的計(jì)算公式如下所示：

其中，O_j為第j個(gè)卷積核作用于多通道輸入映像的卷積結(jié)果，i表示通道，m表示通道個(gè)數(shù)，λ_i為通道i對(duì)應(yīng)的權(quán)重，k_j為第j個(gè)卷積核，I_i為第i個(gè)通道的特征輸入映像，Conv2d(k_j,I_i)表示對(duì)第j個(gè)卷積核及第i個(gè)通道的特征輸入映像的2維卷積操作。

優(yōu)選地，在所述步驟2之后還包括：

構(gòu)建多層類卷積人工神經(jīng)網(wǎng)絡(luò)，所述多層類卷積人工神經(jīng)網(wǎng)絡(luò)包括：輸入層、類卷積層、全連接層及分類器層；包括：將輸入層、類卷積層及全連接層進(jìn)行串行連接，并制定分類器。一種類卷積人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造裝置，包括：

操作模塊，用于對(duì)多個(gè)通道特征輸入映像進(jìn)行類卷積人工神經(jīng)網(wǎng)絡(luò)單個(gè)類卷積層操作；

輸出輸入模塊，用于將上一類卷積層的輸出作為下一類卷積層的輸入。