[發(fā)明專利]一種基于混洗蛙跳算法的卷積神經網(wǎng)絡框架自動設計方法

在審

• 申請?zhí)枺?/td>: 202110993267.5
• 申請日: 2021-08-27
• 公開（公告）號: CN113971367A
• 公開（公告）日: 2022-01-25
• 發(fā)明（設計）人: 張濤;曹亞慧;趙鑫
• 申請（專利權）人: 天津大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/00;G06N3/04;G06N3/08;G06F111/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于混洗蛙跳算法自動設計卷積神經網(wǎng)絡框架方法：將卷積神經網(wǎng)絡框架設計問題建模為一個有約束的組合優(yōu)化問題，設計滿足目標參數(shù)量要求的網(wǎng)絡框架。提出了一種離散變長編碼方法，將卷積層的輸出、全連接層的層數(shù)和每層神經元的個數(shù)等超參數(shù)進行編碼來表示卷積神經網(wǎng)絡框架，然后采用混洗蛙跳算法以MNIST數(shù)據(jù)集上的分類精度為適應度評估值對最優(yōu)網(wǎng)絡框架進行搜索，得到最優(yōu)的卷積神經網(wǎng)絡框架。本發(fā)明提出的基于混洗蛙跳自動設計卷積神經網(wǎng)絡框架的方法具有全自動、效率高等特點，對于經驗不足的科研初學者也是非常友好的。

技術領域

本發(fā)明涉及卷積神經網(wǎng)絡框架自動設計技術，幫助經驗不足的科研人員完全自主設計高性能的神經網(wǎng)絡框架。

背景技術

1.卷積神經網(wǎng)絡框架設計問題

近幾年，卷積神經網(wǎng)絡(Convolution Neural Network，CNN)由于其優(yōu)異的性能，在圖像分類、目標檢測、自然語言處理等領域都取得了顯著的成功。CNN架構結構復雜，參數(shù)眾多，而且參數(shù)之間相互影響，網(wǎng)絡模型太小太淺容易導致欠擬合現(xiàn)象，而網(wǎng)絡模型太大太深又容易導致過擬合等問題，因此一個性能良好的CNN模型非常依賴于其架構的設置。

目前針對卷積神經網(wǎng)絡框架設計這個問題，常用的方法是人員依據(jù)自身豐富的經驗對網(wǎng)絡架構進行不斷的手動調整，從而獲得一種高性能的網(wǎng)絡架構。但是由于人工設計的方法需要反復試錯，方法是非常耗時的，另一方面，人工設計方法需要依賴科研人員的經驗，對于經驗缺乏的非科研人員，通過人工設計方法設計高性能的網(wǎng)絡框架是非常困難的。隨著各行各業(yè)從傳統(tǒng)的手工作業(yè)向自動化、信息化、智能化生產過程邁進，CNN框架設計提出了全自動化設計的新挑戰(zhàn)。

2.卷積神經網(wǎng)絡框架

卷積神經網(wǎng)絡由輸入層、隱藏層和輸出層組成，隱藏層主要包括卷積層、池化層和全連接層。卷積層是卷積神經網(wǎng)絡的核心層，該層的參數(shù)由一組可學習的過濾器組成，通過使用卷積核對圖像等數(shù)據(jù)中進行特征提取，卷積層的層數(shù)越多，就可以提取更多抽象的特征。池化層是夾在卷積層中間的一層，分為最大池化和平均池化，其目的是壓縮數(shù)據(jù)和參數(shù)的量，或通過下采樣來減少輸入的尺寸，但保留重要的信息。全連接層是神經網(wǎng)絡的最后一層，主要任務是利用卷積過程的輸出，對卷積層提取到的特征進行分類。

3.混洗蛙跳算法

混洗蛙跳算法(Shuffled Frog Leaping Algorithm，SFLA)是由Eusuff andLansey等人于2006年首次提出的一種全新的啟發(fā)式智能進化算法，其靈感來源于青蛙的覓食行為。 SFLA通過模因算法在青蛙的子群中進行局部搜索，青蛙使用混合策略來混合跳躍算法，并在局部搜索中交換信息。SFLA結合了模因算法和粒子群算法的優(yōu)點，分別在局部搜索和全局搜索中進行信息交換，將兩種信息交換方式很好的結合起來。總體來說，SFLA可搜索性強且易于實現(xiàn)，可用于解決很多非線性、不可檢測和多狀態(tài)等問題。

SFLA的實現(xiàn)流程如圖1所示，其數(shù)學描述如下：

隨機生成初始種群Ω，種群的大小N，則Ω＝{x₁，x₂，...，x_N}，假設待解決的問題維度為d，則x_i＝[x_i1，x_i2，...，x_id]；

采用模因分組法將種群進行分組。假設要將種群分為m個模因組，每個組內的個體數(shù)量為n，則N＝m×n，模因分組法分組的具體方法為：種群中的所有個體按照適應度值進行排序，第一只青蛙到第一個模因組內，第二只青蛙到第二個模因組，則第m只青蛙到第m個模因組，第m+1只青蛙又分到第一個模因組內，以此類推，直至所有的青蛙都分到相應的組內。