[發明專利]一種卷積神經網絡拓撲方法

在審

• 申請號: 202010012122.8
• 申請日: 2020-01-07
• 公開（公告）號: CN111340179A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 朱徽;徐勇軍;安竹林;楊傳廣;趙二虎
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供一種卷積神經網絡拓撲方法，利用已訓練參數經驗對神經網絡結構進行拓撲，包括：獲取待拓撲的卷積神經網絡，對其訓練多次，驗證并記錄其在圖像測試集上的準確率；對訓練后的卷積神經網絡進行一次或多次拓撲得到待拓撲卷積神經網絡對應的復雜卷積神經網絡，其中，第一次拓撲是從預設的拓撲方式中隨機選擇一種方式對待拓撲的卷積神經網絡進行拓撲操作，從第二次拓撲開始的每次拓撲是從預設的拓撲方式中隨機選擇一種方式對上一次拓撲后的卷積神經網絡進行拓撲操作。本發明適用于圖像分類數據集上任何卷積神經網絡的結構拓撲，本發明的實現的最終效果是神經網絡是功能保持的，盡管網絡復雜度有所提升，但是對于同樣的輸入網絡具有同樣的輸出。

技術領域

本發明涉及計算機信息技術領域，具體地說，涉及計算機神經網絡結構設計優化領域，更具體地說，涉及一種卷積神經網絡拓撲方法。

背景技術

卷積神經網絡仿造生物的視知覺機制構建，在圖像分類、目標識別等領域取得了重要的成果。經研究發現，更深層的網絡有利于更好地提取和分析圖像的特征，具有更好的擬合性。因此，對簡單神經網絡進行拓撲使其變得復雜成為了一個優化卷積神經網絡的關鍵技術。現有技術中，神經網絡結構拓撲的方法主要包括：

遺傳算法：通過遺傳算法或其他混合數學方法的遺傳算法，隨機探索隱藏層的節點連接關系和節點個數。

智能優化算法：通過智能優化算法提出的混合粒子群優化算法(PSO)可以自動搜索神經網絡隱藏層層數和節點數。

知識蒸餾：通過已有的效果較好的教師網絡，指導生成新的學生網絡。

但是，現有技術中普遍的拓撲變化速度慢且計算代價高，這主要是由于拓撲過程中已訓練的參數沒有充分利用，并且在每次隨機搜索時重復進行參數從初始化再訓練的過程，再訓練的過程使得拓撲變化速度變慢且計算代價的必然升高。

發明內容

因此，本發明的目的在于克服上述現有技術的缺陷，提供一種卷積神經網絡拓撲方法，包括：

S1、訓練待拓撲的卷積神經網絡多次，記錄其在圖像測試集上的準確率；在本發明的一些實施例中，對待拓撲的卷積神經網絡訓練多次是指對待拓撲的卷積神經網絡訓練至少50次或在卷積神經網絡在圖像測試集上的準確率達到80％時停止訓練，以先滿足的一個條件為準。

S2、對經步驟S1訓練后的卷積神經網絡進行一次或多次拓撲；其中，第一次拓撲是從預設的拓撲方式中隨機選擇一種方式對待拓撲的卷積神經網絡進行拓撲操作；從第二次拓撲開始，每次拓撲是從預設的拓撲方式中隨機選擇一種方式對上一次拓撲后的卷積神經網絡進行拓撲操作。其中，所述預設的拓撲方式包括如下方式中的一種或多種：

拓寬：隨機選擇待拓撲卷積神經網絡中某一卷積層作為拓撲對象，對該卷積層的濾波器進行隨機復制，并將復制的濾波器添加到原卷積層中以使原卷積層被拓寬成為新的卷積層；將拓寬后的新卷積層中因復制增加的新濾波器的輸入參數設置為原卷積層中被復制的濾波器對應的輸入參數，該新卷積層中其他未被復制過的濾波器的輸入參數保持不變；將卷積神經網絡拓撲后的新卷積層中因復制增加的新濾波器以及被復制的濾波器的輸出參數設置為被復制的濾波器原輸出參數的1/(x+1)，其中x代表該濾波器被復制的次數；

拆分：隨機選擇待拓撲卷積神經網絡中某一卷積層作為拓撲對象，將該卷積層的濾波器進行等分，拆分為濾波器數量相同的兩個新卷積層，并對兩個新卷積層的輸出進行連接操作；將拆分后的兩個新卷積層中濾波器的輸入參數和輸出參數與被拆分前卷積層中對應濾波器的輸入參數和輸出參數保持一致；

加深：隨機選擇待拓撲卷積神經網絡中某一卷積層作為拓撲對象，在該卷積層后直接添加一個與該卷積層濾波器數量相同的新卷積層；并將新卷積層中與原卷積層中直接對應的濾波器間的連接的參數設置為1，其余濾波器間的連接的參數設置為0，使新卷積層的輸出與原卷積層的輸出保持不變，以將上一層卷積層的輸出特征圖像在不變的情況下傳遞給下一卷積層；