[發(fā)明專利]卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法

在審

• 申請?zhí)枺?/td>: 201910584313.9
• 申請日: 2019-07-01
• 公開（公告）號: CN110348565A
• 公開（公告）日: 2019-10-18
• 發(fā)明（設(shè)計）人: 楊晨;張靖宇;陳琦;張景越;徐建龍
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 李紅霖

1.卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)包括卷積層結(jié)構(gòu)和全連接層結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計方法具體包括以下步驟：

步驟1：卷積-全連接參數(shù)置換

針對調(diào)整前的卷積神經(jīng)網(wǎng)絡(luò)，在卷積層結(jié)構(gòu)中，增加每層卷積的卷積核大小，減少每層卷積的特征圖通道的大小，以壓縮全連接層結(jié)構(gòu)中第1層全連接層的輸入?yún)?shù)量，增加卷積層結(jié)構(gòu)的參數(shù)占比，減少全連接層結(jié)構(gòu)的參數(shù)占比；

步驟2：全連接層神經(jīng)元補償

針對調(diào)整前的卷積神經(jīng)網(wǎng)絡(luò)，在全連接層結(jié)構(gòu)中，增加每層全連接層的神經(jīng)元結(jié)點的數(shù)目，以提取更多的特征信息分析學(xué)習(xí)，補償整個卷積神經(jīng)網(wǎng)絡(luò)的精度。

2.根據(jù)權(quán)利要求1所述的卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，步驟1中將每層卷積的卷積核大小調(diào)整為kernel size+2N，其中：N＝1,2,3…，kernel size表示調(diào)整前的卷積核大小。

3.根據(jù)權(quán)利要求2所述的卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，kernel size+2N的值不超過11。

4.根據(jù)權(quán)利要求1所述的卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，步驟1中將每層卷積的特征圖通道大小調(diào)整為feature maps-K，其中K＝1,2,3…，feature maps表示調(diào)整前的特征圖通道大小。

5.根據(jù)權(quán)利要求1所述的卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，步驟2的全連接層結(jié)構(gòu)中，除最后一層全連接層外，其余全連接層神經(jīng)元結(jié)點數(shù)目調(diào)整后則為2^A+B，2^A為全連接層神經(jīng)元結(jié)點調(diào)整前數(shù)目，B＝1,2,3……，且全連接層結(jié)構(gòu)總參數(shù)量小于調(diào)整前的全連接層結(jié)構(gòu)總參數(shù)量。

6.根據(jù)權(quán)利要求1所述的卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，調(diào)整前的卷積神經(jīng)網(wǎng)絡(luò)為LeNet-5，且LeNet-5的卷積層結(jié)構(gòu)共包含3層卷積，每層卷積的卷積核大小均為5*5，每層卷積的特征圖通道大小分別為6，16，16，LeNet-5神經(jīng)元結(jié)點數(shù)目分別為120，84，2，其中2為2分類。

7.根據(jù)權(quán)利要求6所述的卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，步驟1中將每層卷積的卷積核大小調(diào)整為分別調(diào)整為7*7，7*7，9*9。

8.根據(jù)權(quán)利要求6所述的卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，步驟1中將每層卷積的特征圖通道大小分別調(diào)整為6，8，3。

9.根據(jù)權(quán)利要求6所述的卷積-全連接參數(shù)置換與全連接神經(jīng)元補償?shù)木矸e神經(jīng)網(wǎng)絡(luò)設(shè)計方法，其特征在于，步驟2中將全連接層的神經(jīng)元結(jié)點增加至512，32，2，其中2為2分類。