[發(fā)明專利]一種卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)空間McaNetX及其優(yōu)化方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210176263.2
• 申請(qǐng)日: 2022-02-25
• 公開（公告）號(hào): CN114492766A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 王青祿;俞翔;陳逸霖;張宇;郭展希;陸耀歡;陸媛媛;王權(quán)林;羅棟楠
• 申請(qǐng)（專利權(quán)）人: 南京工程學(xué)院
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06V10/44
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 徐激波

本發(fā)明提供了一種卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)空間McaNetX及其優(yōu)化方法，所述優(yōu)化方法包括以下步驟：1)根據(jù)SAR圖像的特點(diǎn)設(shè)計(jì)特征提取網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)并將基礎(chǔ)結(jié)構(gòu)使用結(jié)構(gòu)參數(shù)表示；2)利用設(shè)計(jì)空間樣本分析工具分析步驟1)中的結(jié)構(gòu)參數(shù)規(guī)律；3)整體評(píng)判設(shè)計(jì)空間樣本模型的性能，比較性能的變化；4)通過步驟2)中的結(jié)構(gòu)參數(shù)變化規(guī)律對(duì)設(shè)計(jì)空間集合McaNetX進(jìn)行優(yōu)化。本文提出的基于設(shè)計(jì)空間優(yōu)化方法設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)能夠在輕量化模型上完成SAR圖像的目標(biāo)識(shí)別任務(wù)，且具有較強(qiáng)的魯棒性以及泛化能力。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像目標(biāo)識(shí)別領(lǐng)域，具體為一種卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)空間McaNetX及其優(yōu)化方法。

背景技術(shù)

SAR圖像識(shí)別問題的傳統(tǒng)方法依賴于設(shè)計(jì)特征提取算法與分類器的選擇。目前主要的SAR圖像目標(biāo)識(shí)別算法包括基于模板匹配的方法、基于Boosting的方法、基于稀疏矩陣表示的方法等，這些方法的精度取決于于人工設(shè)計(jì)的算法是否合適，且易受相干斑噪聲、方位角、俯仰角等因素影響，針對(duì)不同的SAR圖像特征往往需要重新設(shè)計(jì)特征提取算法。目前選擇分類器的主流方法是利用支持向量機(jī)(Support Vector Machine，SVM)等面向光學(xué)圖像設(shè)計(jì)的分類器，人工選取分類效果較好的分類器來適應(yīng)從SAR圖像中提取的特征，分類器與特征的關(guān)聯(lián)程度低。

SAR圖像目標(biāo)識(shí)別的深度學(xué)習(xí)方法可通過設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方式來提高識(shí)別SAR圖像的能力，從而避免設(shè)計(jì)復(fù)雜的特征提取器。目前針對(duì)于SAR圖像目標(biāo)識(shí)別的神經(jīng)網(wǎng)絡(luò)大多是手工設(shè)計(jì)的，需要較高的人力成本。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)規(guī)律可在一定程度上向其他應(yīng)用方向推廣。深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)是神經(jīng)網(wǎng)絡(luò)不可或缺的一部分，卷積神經(jīng)網(wǎng)絡(luò)的卷積核、參數(shù)量大小、深度和殘差結(jié)構(gòu)都影響著神經(jīng)網(wǎng)絡(luò)的性能水平。LeNet、AlexNet、ResNet等具有創(chuàng)造性思路的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的提出顯著影響了后續(xù)研究者設(shè)計(jì)網(wǎng)絡(luò)的規(guī)律。因此，已被證明具有良好效果的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不但是一種特定的網(wǎng)絡(luò)實(shí)例，而且是一種可以推廣和應(yīng)用于其他網(wǎng)絡(luò)的設(shè)計(jì)規(guī)律。

手工設(shè)計(jì)與NAS(Neural Architecture Search)設(shè)計(jì)網(wǎng)絡(luò)均存在一定的局限性。在設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的過程中，針對(duì)不同的數(shù)據(jù)集，神經(jīng)網(wǎng)絡(luò)提取與融合特征的方式也不同，因此手工設(shè)計(jì)網(wǎng)絡(luò)的挑戰(zhàn)是設(shè)計(jì)網(wǎng)絡(luò)的過程復(fù)雜且考驗(yàn)專業(yè)能力。NAS在網(wǎng)絡(luò)設(shè)計(jì)的過程中可以自動(dòng)地從搜索空間中搜索到性能良好的網(wǎng)絡(luò)結(jié)構(gòu)，其自動(dòng)化的特點(diǎn)顯著降低了神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)成本與人力成本，但搜索結(jié)果是單種網(wǎng)絡(luò)調(diào)優(yōu)到特定的設(shè)置，網(wǎng)絡(luò)搜索的過程中不會(huì)顯示網(wǎng)絡(luò)的設(shè)計(jì)規(guī)律。

發(fā)明內(nèi)容

為解決上述背景技術(shù)中提出的問題，本發(fā)明提供了一種卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)空間McaNetX及其優(yōu)化方法，所述優(yōu)化方法包括以下步驟：1)根據(jù)SAR圖像的特點(diǎn)設(shè)計(jì)特征提取網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)并將基礎(chǔ)結(jié)構(gòu)使用結(jié)構(gòu)參數(shù)表示；2)利用設(shè)計(jì)空間樣本分析工具分析步驟1)中的結(jié)構(gòu)參數(shù)規(guī)律；3)整體評(píng)判設(shè)計(jì)空間樣本模型的性能，比較性能的變化；4)通過步驟2)中的結(jié)構(gòu)參數(shù)變化規(guī)律對(duì)設(shè)計(jì)空間集合McaNetX進(jìn)行優(yōu)化。

此處分析的結(jié)構(gòu)參數(shù)規(guī)律是一批量的模型通過統(tǒng)計(jì)、概括的手段獲取結(jié)構(gòu)參數(shù)規(guī)律的過程。設(shè)計(jì)空間是由大量模型組成的集合，設(shè)計(jì)空間的結(jié)構(gòu)參數(shù)規(guī)律在宏觀角度調(diào)控著每個(gè)模型的結(jié)構(gòu)。以Depth(每個(gè)Stage的Block數(shù)量，可以近似理解為網(wǎng)絡(luò)深度)為例，如果利用設(shè)計(jì)空間樣本分析工具分析每個(gè)Stage的平均Depth值的為1,3,2,1；那么結(jié)構(gòu)參數(shù)規(guī)律就可以被概括為“升降升”。可以認(rèn)為McaNetX是本文中所有設(shè)計(jì)空間的并集(實(shí)際上就是McaNetXA設(shè)計(jì)空間，參見圖5)，設(shè)計(jì)規(guī)律在其中充當(dāng)限制條件的角色，而每一個(gè)結(jié)構(gòu)參數(shù)都有其對(duì)應(yīng)的設(shè)計(jì)規(guī)律。

“設(shè)計(jì)空間”是在結(jié)構(gòu)參數(shù)規(guī)律的限制下理論上存在的模型全部集合，而“模型”是訓(xùn)練的最小單位，即基于梯度下降法訓(xùn)練的深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型(網(wǎng)絡(luò)結(jié)構(gòu)+有效權(quán)重)。“樣本模型”是指從設(shè)計(jì)空間隨機(jī)采樣的一批模型集合，用以代表該設(shè)計(jì)空間的性能，但不等于設(shè)計(jì)空間。“設(shè)計(jì)空間集合”是本文提出的所有設(shè)計(jì)空間的并集，即理論上存在的所有模型的集合。