[發明專利]基于多列卷積神經網絡模糊評判的圖像識別方法

在審

• 申請號: 201610998335.6
• 申請日: 2016-11-14
• 公開（公告）號: CN106650786A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 鐘玲;張志佳;于雅潔;張興坤;郭婷;許鐘子珩;王藝潭
• 申請（專利權）人: 沈陽工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 沈陽智龍專利事務所(普通合伙)21115
• 代理人: 周楠,宋鐵軍

1.一種基于多列卷積神經網絡模糊評判的圖像識別方法，其特征在于：步驟如下：

(1)選取采集于現實環境的不利于分類的圖像，進行預處理，以克服樣本中的干擾信息；

(2)構建多列卷積神經網絡：針對每種預處理，分別構建不同卷積神經網絡，獲取針對每種預處理的最優網絡結構，之后將不同預處理對應的最優卷積神經網絡結構進行集成，構建有效利用各種預處理優勢的多列卷積神經網絡，應用于圖像的識別；

1)卷積神經網絡基本結構包括：

(a)卷積層

卷積層，又稱為特征提取層，是對圖像的一個鄰域進行卷積得到圖像的鄰域特征，每個神經元的輸入與前一層的局部感受野相連，上層得到的特征圖與一個可學習的卷積核進行卷積，然后通過一個激活函數，輸出形成這一層的特征圖，即提取該局部的特征；該局部特征被提取后，與其它特征間的位置關系也隨之確定；

對卷積核的確定：對于步驟(1)獲得的圖像作為輸入圖像，在輸出圖像中每一個像素是輸入圖像中一個小區域中像素的加權處理，其中權值由一個函數即卷積核定義；

確定局部感受野：

在卷積神經網絡中，圖像中的小塊區域即局部感受野被當作層次結構中的底層的輸入數據，信息通過前向傳播經過網絡中的各個層處理，獲得觀測數據的顯著特征；卷積核提供了一個權重模板，該模板在圖像上滑動，并將中心依次與圖像中每一個像素對齊，然后對這個模板覆蓋的所有像素進行加權，并將結果作為這個卷積核在圖像上該點的響應；卷積層中使用的卷積核個數即為該層特征圖的數目，也代表提取的特征種類；每一個輸出的特征圖能與前一層的幾個特征圖的卷積建立關系；

卷積層的加權響應形式如式(1)所示：

$x_j^l=f\left(\underset{i\∈M_j}{\mathrm{\Σ}}{x}_i^{l-1}*k_{ij}^l+b_j^l\right)---\left(1\right);$

其中，l代表層數，k是卷積核，M_j表示選擇的輸入maps的集合，每個輸出圖均有一個額外的偏置b；

(b)子采樣層

子采樣層是對輸入進行抽樣操作，又稱為特征映射層，使用pooling技術將小鄰域內的特征點整合得到新的特征；

每個子采樣層的特征圖數目均與上層相鄰的卷積層的特征圖數目相同；

子采樣層的處理形式如式(2)所示：

$x_j^l=f\left({\mathrm{\β}}_j^{l}down\right(x_j^{l-1})+b_j^l)---\left(2\right);$

其中，down(·)表示子采樣函數，對卷積層輸出的特征圖中不同n*n子塊所有的像素進行Pooling操作；

(c)采用不同數目及權重的卷積核再進行一次卷積和子采樣處理，并將結果輸入一個全連接的三層神經網絡；

(d)權值共享

在卷積神經網絡中，卷積層的每一個卷積核重復的作用于整個感受野中，對輸入圖像進行卷積，卷積結果構成了輸入圖像的特征圖，提取出圖像的特征；每一個卷積核共享相同的參數，包括相同的權值矩陣和偏置項；

2)將每種卷積神經網絡集成，構造一種多列卷積神經網絡：

針對上述每種預處理方法分別構建卷積神經網絡，同時在同一預處理方法得到的數據集上構建特征圖數和子采樣pooling方式不同的不同結構卷積神經網絡；通過多列卷積神經網絡并行處理，實現對畸變的圖像進行快速識別；

每次訓練開始前，經過不同預處理后的訓練集，輸入到不同的卷積神經網絡進行訓練，進而構成多列卷積神經網絡MCCNN；輸入圖像被n個預處理器P0～～Pn-1進行預處理，多個的CNN并行對輸入圖像進行訓練；MCCNN將在不同預處理樣本上訓練的CNN組合在一起，然后對輸出結果進行模糊評判，以提高識別結果；

每一個CNN是在經典的卷積神經網絡的基礎上進行修改與調整，包括1)修改局部感受野和卷積核的大小；2)修改子采樣窗口大小；3)修改批量樣本數；4)修改特征圖數目；

(3)對多列卷積神經網絡輸出采用模糊矩陣進行綜合評判：

1)將模糊數學的思想引入到多列卷積神經網絡的輸出分類中，將每幅圖像在每列卷積神經網絡上的輸出向量作為隸屬向量，再將多個隸屬向量組成模糊判決矩陣，計算該圖片被分為不同類的隸屬度；

對論域X，A：X→[0，1]，則稱A是X上模糊集，稱為x屬于A的隸屬度；

一個對象在一列卷積神經網絡的輸出層各神經元的輸出構成一個對各目標類的隸屬向量：

A_i(C_j)＝[A_i(c₁),A_i(c₂),…,A_i(c_k)] (3)；

其中，A_i(c₁)…A_i(c_k)為第i個對象在c₁…c_k類判別神經元上的輸出所對應的隸屬度；

一幅樣本圖片經多列卷積神經網絡處理后的輸出構成一個隸屬矩陣：

其中，n為多列卷積神經網絡的列數，k為目標判決類的數目；

由隸屬矩陣，定義某張圖片對某一判決類的模糊隸屬度為：

$\frac{A_i\left(k\right)}{c_k}=\frac{\underset{i=1}{\overset{n}{\Σ}}{A}_i\left(c_k\right)}{n}---\left(5\right);$

其中n為多列卷積神經網絡的列數，按照最大隸屬度原則，得出樣本i的最終分類；

2)定義綜合隸屬度與離散隸屬度

根據隸屬向量與判決矩陣的相關公式，樣本圖片被一個神經網絡識別時，此神經網絡中輸出神經元對應的值組成了隸屬向量，而多個神經網絡的輸出端隸屬向量則構成了判決矩陣；綜合隸屬度是將判別矩陣中每列的值分別進行求和，根據公式(5)計算出圖片對該類的綜合模糊隸屬度，結果最大的數值對應的類別，即為該樣本圖片被劃分的類別；

與綜合隸屬度不同的是，離散隸屬度的模糊隸屬向量并不是由神經網絡的輸出神經元的值直接組成，而是將樣本在輸出神經元中所屬類別的值置為1，其余置為0，將重新變換后的輸出作為隸屬向量，進而組成新的判決矩陣；計算出圖片對該類的離散模糊隸屬度，結果最大的數值對應的類別，即為該樣本圖片被劃分的類別；

對多列輸出結果分別應用綜合隸屬度和離散隸屬度評判，對比不同評判方式的正確率，確定此類圖像適合的模糊評判方式，最后得出識別結果。