[發明專利]一種基于三維卷積神經網絡的圖像特征提取與訓練方法

有效

• 申請號: 201810468877.1
• 申請日: 2018-05-16
• 公開（公告）號: CN108717568B
• 公開（公告）日: 2019-10-22
• 發明（設計）人: 葛寶;李雅迪
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06K9/46;G06K9/62
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

1.一種基于三維卷積神經網絡的圖像特征提取與訓練方法，其特征在于，包括如下步驟，

步驟1，將進行特征提交的輸入圖像進行尺寸的歸一化處理；

步驟2，構建包括卷積層、激活層、池化層、全連接層和輸出層的三維卷積神經網絡；

步驟2.1，通過將輸入圖像中若干張連續的圖像堆疊成為一個立體圖像的立方體，然后在這個立方體里通過如下三維卷積層對連續的多張圖像進行加權求和的卷積操作，以提取圖像的初級特征，得到初級特征圖；

其中，O是第j層圖像對應的第n個特征塊的(x，y，z)處的輸出，σ為激活函數，是i層圖像的m個特征塊和是j層圖像的n個特征塊之間的權重，I_im(x+p，y+q，z+r)是第i層圖像到j層圖像的輸入，b_jn為共享的偏置，p，q，r為x，y，z三個方向的采樣步長；i和j為相鄰兩層的序號；

步驟2.2，通過激活層對初級特征圖添加非線性特征；

步驟2.3，通過池化層來降低添加非線性特征的初級特征圖的維度大??；

步驟2.4，通過全連接層對池化層處理過的初級特征圖提取高級特征，得到高級特征圖；

步驟2.5，通過輸出層中的Softmax分類器將高級特征轉化為激活概率，得到三維卷積神經網絡的輸出，完成三維卷積神經網絡的構建；

步驟3，對構建的三維卷積神經網絡進行訓練后得到優化的三維卷積神經網絡，進行對輸入圖像進行特征提取，完成輸入圖像的分類識別；

步驟3中，采用比例均衡化的樣本輸入機制來優化模型的訓練，在訓練三維卷積神經網絡模型的時候，采取有組織的學習方法，即一次輸入一小批量樣本進行訓練時，這一小批樣本在選取時遵循以下規則：對每類樣本按樣本數量的比例進行采樣，保證樣本數較小的類別每次都能參與訓練；

通過添加正則化項來對權值進行稀疏化，在進行模型訓練的過程中，利用如下的損失函數來估計梯度，實現三維卷積神經網絡的優化；

其中，L為損失函數，n是測試集中樣本數量，是sofmax層輸出的對樣本i預測概率，y_i是待分類數據的實際標簽；m為小批量樣本數，小批量樣本為{x(1)，x(2)，…，x(m)}，g為梯度的估計值，θ為需要學習的參數集；|| ||₁為L1正則化，λ為正則化系數，決定著W的稀疏程度，W為最后一層池化層到全連接層的權值。

2.根據權利要求1所述的一種基于三維卷積神經網絡的圖像特征提取與訓練方法，其特征在于，對輸入圖像依次進行步驟2.1到2.3的多次堆疊，執行多次堆疊時，卷積層的核心數逐次增加。

3.根據權利要求1所述的一種基于三維卷積神經網絡的圖像特征提取與訓練方法，其特征在于，步驟2.2中，通過在激活層中采用如下的ReLU激活函數對初級特征圖添加非線性特征；

f(x)＝max(0，x)

其中，x為函數的輸入，f(x)為函數輸出；將輸入大于0的特征保持，小于0的特征忽略。

4.根據權利要求1所述的一種基于三維卷積神經網絡的圖像特征提取與訓練方法，其特征在于，步驟2.3中，采用如下最大池化的方法來來降低特征的維度大小；

其中，I為池化層的輸入，O為池化輸出，p，q，r為x，y，z三個方向的采樣步長，S₁，S₂，S₃為池化的范圍，i，j，k在此范圍內變動。

5.根據權利要求1所述的一種基于三維卷積神經網絡的圖像特征提取與訓練方法，其特征在于，步驟2.5中，所述的Softmax分類器如下，

其中，x_i表示向量x中的第i個元素，這個元素的Softmax值就是S_i。