[發明專利]一種搜索卷積神經網絡的方法

在審

• 申請號: 202010012084.6
• 申請日: 2020-01-07
• 公開（公告）號: CN111242268A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 朱徽;徐勇軍;安竹林;許開強;刁博宇
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/00
• 分類號: G06N3/00;G06N3/04;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種搜索卷積神經網絡的方法，其特征在于，包括：

S1、訓練初始卷積神經網絡至收斂，其中所述初始卷積神經網絡包括一個或多個進化模塊；

S2、以經步驟S1訓練后的初始卷積神經網絡為基礎進行多次迭代突變以得到多個突變卷積神經網絡，其中，每次突變是從預設的突變方式中隨機選擇一種突變方式對當前卷積神經網絡中的所有進化模塊的結構同時進行突變，并對其進行訓練至收斂得到一個新的突變卷積神經網絡；

S3、從步驟S2的多個突變卷積神經網絡中選擇適應度最大的突變卷積神經網絡作為搜索結果。

2.根據權利要求1所述的一種搜索卷積神經網絡的方法，其特征在于，所述每一個進化模塊包括一個或多個卷積層，所述每一個卷積層包含多個濾波器，對每個進化模塊的結構進行突變是隨機選擇進化模塊中的一個卷積層采用一種突變方式對其結構進行突變。

3.根據權利要求2所述的一種搜索卷積神經網絡的方法，其特征在于，所述初始卷積神經網絡包括全局平均池化層以及全連接層，

所述初始卷積神經網絡在進化模塊與全平均池化層之間包括一個或兩個最大池化層、一個或多個丟棄塊層；其中，

最大池化層的步長為2，丟棄塊層的保持率為0.75；

在兩個最大池化層中，靠前的最大池化層的塊尺寸為7，靠后的最大池化層的塊尺寸為5。

4.根據權利要求3所述的一種搜索卷積神經網絡的方法，其特征在于，所述步驟S2中以經步驟S1訓練后的初始卷積神經網絡為基礎進行多次迭代突變以得到多個突變卷積神經網絡包括：

S21、以經步驟S1訓練后的初始卷積神經網絡為基礎進行多次迭代突變以得到預設初始規模的多個突變卷積神經網絡組成初始種群；其中，第一次突變是從預設的突變方式中隨機選擇一種突變方式對初始卷積神經網絡的所有進化模塊的結構同時進行突變后對整個卷積神經網絡進行訓練至收斂得到一個突變卷積神經網絡，后面的每次迭代突變是從預設的突變方式中隨機選擇一種突變方式對上一次突變后的卷積神經網絡中的所有進化模塊的結構同時進行突變后對整個卷積神經網絡進行訓練至收斂得到新的突變卷積神經網絡；

S22、從初始種群中采用錦標賽選擇方法選擇一個突變卷積神經網絡進行單次突變獲得一個新的突變卷積神經網絡并放回初始種群，重復多次，直至初始種群的規模達到預設的一代規模形成突變卷積神經網絡的一代種群；

S23、從一代種群中采用錦標賽選擇方法選擇一個突變卷積神經網絡進行單次突變獲得新的突變卷積神經網絡并放回當前種群同時隨機淘汰當前種群中最老或適應度最低的突變卷積神經網絡，重復多次，直到種群中的突變卷積神經網絡的最高適應度不再變化或資源耗盡。

5.根據權利要求4所述的一種搜索卷積神經網絡的方法，其特征在于，所述預設初始規模對應的初始種群的卷積神經網絡數量為10～15，所述預設的一代規模對應的卷積神經網絡數量為18～23。

6.根據權利要求1所述的一種搜索卷積神經網絡的方法，其特征在于，預設的突變方式包括以下方式中的一種或多種：

拓寬：將待突變卷積層的濾波器進行隨機復制，并將復制的濾波器添加到待突變卷積層中實現待突變卷積層的拓寬；

拆分：將待突變卷積層的濾波器進行等分，拆分為濾波器數量相同的兩個新卷積層實現待突變卷積層的拆分，并對兩個新卷積層的輸出參數進行連接操作后；

加深：在待突變卷積層后直接添加一個與待突變卷積層濾波器數量相同的新卷積層；

添加短路連接：在待突變卷積層后直接添加一個與待突變卷積層濾波器數量相同的且參數為0的新卷積層，并對該新卷積層的輸出與待突變卷積層的輸出進行疊加操作；

添加密集連接：在卷積神經網絡中待突變卷積層后直接添加一個與待突變卷積層濾波器數量相同的且參數為0的新卷積層，并對該新卷積層的輸出與待突變卷積層的輸出進行連接操作。

7.根據權利要求1至6任一所述的一種搜索卷積神經網絡的方法，其特征在于將卷積神經網絡訓練至收斂是指對卷積神經網絡進行多次訓練，直到在某次訓練后與該次訓練前相比，其適應度的變化范圍小于等于預設閾值，判定該卷積神經網絡已訓練至收斂。