[發明專利]一種利用優化神經元空間排布的卷積神經網絡的圖像分類方法

有效

• 申請號: 201811634321.1
• 申請日: 2018-12-29
• 公開（公告）號: CN109740734B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 劉波;劉奧文
• 申請（專利權）人: 北京工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

1.一種利用優化神經元空間排布的卷積神經網絡的圖像分類方法，其特征在于包括以下步驟:

步驟1：搭建網絡，輸入為圖片；

步驟2：利用自組織映射算法預訓練網絡得到網絡的初始化參數；

步驟3：修改損失函數，即在交叉熵損失函數的基礎上新加描述相鄰卷積核權值分布相似性的正則化項；

步驟4：按照步驟1再次搭建好新的網絡，然后利用步驟2得到的卷積核的權值，初始化新網絡的卷積核的權值，利用圖像分類的數據集ImageNet進行網絡訓練，利用反向傳播算法不斷更新網絡的參數，當步驟3修改后得到的損失函數達到最小時結束訓練，得到神經元空間排布優化后的卷積神經網絡模型；將圖像輸入訓練完成的卷積神經網絡模型進行分類。

2.根據權利要求1所述的一種利用優化神經元空間排布的卷積神經網絡的圖像分類方法，其特征在于：所述網絡包括五個卷積層、三個最大池化層，以及三個全連接層，其連接順序為：第一卷積層、第一最大池化層、第二卷積層、第二最大池化層、第三卷積層、第四卷積層、第五卷積層、第三最大池化層、第一全連接層、第二全連接層、第三全連接層。

3.根據權利要求2所述的一種利用優化神經元空間排布的卷積神經網絡的圖像分類方法，其特征在于：步驟1所述的網絡具體如下：

所述的第一卷積層的卷積核大小為11x11,個數為96，步長為4；

所述的第一最大池化層窗口大小為3x3，步長為2；

所述的第二卷積層的卷積核大小為5x5,個數為256，步長為1；

所述的第二最大池化層窗口大小為3x3，步長為2；

所述的第三卷積層的卷積核大小為3x3,個數為384，步長為1；

所述的第四卷積層的卷積核大小為3x3,個數為384，步長為1；

所述的第五卷積層的卷積核大小為3x3,個數為256，步長為1；

所述的第三最大池化層窗口大小為3x3，步長為2；

所述的第一全連接層的維度為4096；

所述的第二全連接層的維度為4096；

所述的第三全連接層的維度與數據集中類別數保持相等即可；在整個網絡中選擇Relu函數作為激活函數。

4.根據權利要求1所述的一種利用優化神經元空間排布的卷積神經網絡的圖像分類方法，其特征在于：步驟2所述的自組織映射算法預訓練網絡，具體步驟如下：

需要修改卷積層和全連接層的前向傳播過程，在每個卷積層和每個全連接層內加入自組織映射的學習方式，即每當窗口滑動到當前位置時，分別計算每個卷積核與該窗口區域內像素的點積，并找到最大點積值對應的卷積核，稱之為獲勝的卷積核，并用公式(1)更新獲勝的卷積核及其鄰近卷積核的權重，然后窗口滑動到下一位置，重復相同的操作，其中權重更新公式如下：

W_l，k(q)表示第l層第k個卷積核在第q個位置時的權重，t為迭代次數，η(t)是學習速度，Λ(k,k*)是窗函數，k^*表示獲勝卷積核的位置，Φ_q表示卷積核在特征圖上第q個位置上所覆蓋的像素；第l層表示卷積層或者全連接層；

在根據公式(1)更新完獲勝卷積核及其鄰近卷積核的權重后，對這些卷積核的權重進行歸一化操作，如下式(2)，

表示根據公式(1)更新完后的第l層第k個卷積核在第q個位置的權重，W_l，k(q+1)表示第l層第k個卷積核在第q+1個位置時的權重，μ_l，k和σ_l，k分別是根據公式(1)更新完后的第l層第k個卷積核權值的均值和方差，μ和σ分別為網絡初始化時第l層第k個卷積核權值的均值和方差；

結合圖像分類數據集，輸入圖像到網絡，利用公式(1)和(2)不斷更新網絡中卷積核的權值，整個訓練過程不需要反向傳播算法更新卷積核的權值，達到預設的迭代次數后結束預訓練過程，保存網絡的所有卷積核的權值。

5.根據權利要求4所述的一種利用優化神經元空間排布的卷積神經網絡的圖像分類方法，其特征在于：步驟2中所述的窗函數具體如下：

其中，k表示卷積核的位置,k^*表示獲勝卷積核的位置。