[發明專利]一種基于混洗蛙跳算法的卷積神經網絡框架自動設計方法

在審

• 申請號: 202110993267.5
• 申請日: 2021-08-27
• 公開（公告）號: CN113971367A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 張濤;曹亞慧;趙鑫
• 申請（專利權）人: 天津大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/00;G06N3/04;G06N3/08;G06F111/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于混洗蛙跳算法的卷積神經網絡框架自動設計方法，其特征在于，包括如下步驟：

1)將卷積神經網絡框架自動設計方法建模為一個有約束的組合優化問題，約束為模型的參數量；

2)設計一種離散變長編碼方式用來表示卷積神經網絡框架，得到卷積神經網絡框架的數學表示；

3)采用混洗蛙跳算法對卷積神經網絡框架進行設計，以在MNIST數據集上的圖像分類精度為適應度評估值，以不斷提高分類精度為優化目標，通過混洗蛙跳算法不斷迭代優化，得到性能最優的卷積神經網絡框架；

4)將最優的卷積神經網絡框架再次充分訓練。

2.根據權利要求1所述的一種基于混洗蛙跳算法的卷積神經網絡框架自動設計方法，其特征在于，步驟1)包括：

(1)將卷積神經網絡框架自動設計方法建模為一個在模型參數量約束下的組合優化問題。

3.根據權利要求1所述的一種基于混洗蛙跳算法的卷積神經網絡框架自動設計方法，其特征在于，步驟2)包括：

(1)定義一個block，里面包括m層卷積層和一層最大池化層，池化層連接在卷積層后面構成一個block；

(2)將block進行疊加，即將多個block堆疊連接，block的個數為nb；

(3)定義全連接層的層數為nf，每個全連接層中神經元的個數為η，將nf個全連接層連接起來；

(4)最后將堆疊的block和全連接層再次連接起來，構成一個卷積神經網絡框架。

4.根據權利要求1所述的一種基于混洗蛙跳算法的卷積神經網絡框架自動設計方法，其特征在于，步驟3)包括：

(1)設定混洗蛙跳算法的初始參數，包括：青蛙種群的數量N，青蛙分組組數，算法最大迭代次數，并定義迭代次數iter＝0，還有編碼方式中block的參數范圍，每個block中卷積層的輸出范圍，全連接層的層數范圍，每層的神經元個數范圍以及模型的參數量約束范圍；

(2)青蛙種群初始參數進行種群初始化，按照離散變長編碼方式進行編碼，生成一個青蛙個體后，先判斷該個體對應的卷積神經網絡的模型參數量是否滿足約束范圍，如果滿足，則該個體有效，否則重新生成新個體，直至生成N個滿足模型參數量約束范圍的個體，構成青蛙種群；

(3)對生成的種群進行適應度評估；

(a)將經典的MNIST數據集分為訓練集和測試集，設定訓練集的圖片為α張，測試集的圖片為β張，為了減少訓練時間，在進行適應度評估時，只隨機選擇全部數據集的θ％來進行訓練和測試，即α×θ％張訓練圖片和β×θ％張測試圖片；

(b)設定種群個體n＝0，將此個體按照編碼方式反向解碼，得到對應的卷積神經網絡框架；

(c)利用訓練圖片訓練解碼得到的卷積神經網絡框架，然后在測試圖片上測試，得到測試精度作為適應度評估值；

(d)種群個體n加一。若種群個體個數小于種群的全部個體數量，則轉到步驟(b)，否則，輸出種群全部個體的適應度值；

(4)按照種群的適應度值對整個青蛙種群進行降序排序，按照模因分組法對種群進行分組，確定每組中的組內最優個體、組內最差個體和整個種群中的全局最優個體；

(5)更新個體，先利用每組中的組內最優個體的信息更新組內最差個體，若更新后的組內最差個體的適應度值優于之前的組內最差個體的適應度值，則完成一個更新過程；否則，利用全局最優個體的信息更新組內最差個體，若更新后的組內最差個體的適應度值優于之前的個體，則完成一個更新過程；若依然無法更新成功，則采用隨機更新的方式更新該組內的最差個體；

(6)迭代次數iter加一；

(7)混洗全部個體。若迭代次數小于算法最大迭代次數，則轉到步驟(4)，否則，輸出全局最優個體，得到最優的卷積神經網絡框架；

(8)設定充分訓練過程所需迭代次數為iiter，采用MNIST數據集中全部的數據圖片，即α張訓練圖片和β張測試圖片；將最優卷積神經網絡框架在訓練數據上訓練，在測試數據上測試，得到最后的精度作為實際的應用精度。