[發明專利]一種基于代價敏感卷積神經網絡的人臉表情識別方法

有效

• 申請號: 201810734523.7
• 申請日: 2018-07-06
• 公開（公告）號: CN108846380B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 李慧芳;石峰娟;袁艷
• 申請（專利權）人: 北京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 王民盛

1.一種基于代價敏感卷積神經網絡的人臉表情識別方法，其特征在于，包括以下步驟：

步驟1：根據不同表情類別錯分所帶來的影響，設計錯分代價矩陣；

步驟2：構建卷積神經網絡模型，確定網絡層數、特征圖個數以及卷積核的大??；將所有節點的偏置參數b初始化為0，且在(-1,1)范圍內隨機初始化權重矩陣ω＝(ω_ij)，如式(1)所示：

其中，ω_ij為網絡前一層第i個特征圖與當前層第j個特征圖之間的卷積核，n_in為輸入神經元的個數，n_out為輸出神經元的個數，rand(size)函數用于產生取值范圍在(0,1)區間內的隨機數；

步驟3：輸入訓練樣本數據，根據卷積神經網絡進行前向傳播，得到訓練樣本對應的預測輸出值，并將其帶入代價敏感的損失函數式(2)中，計算得到訓練樣本的損失代價：

其中，k是指訓練樣本的個數，n是指輸出層神經元的個數，class(i)是指第i個訓練樣本的標簽，Cost_class(i),j是指將第i個訓練樣本的class(i)類錯分為j類的代價，y_ij分別是第i個訓練樣本對應輸出層第j個神經元的預測輸出值、實際輸出值；

將訓練樣本的預測輸出值、實際輸出值和相應的錯分代價代入式(2)中，計算訓練樣本的損失代價；

步驟4：根據訓練樣本的損失代價和反向傳播算法，計算卷積神經網絡模型中每一層的代價敏感度；

以最小化錯誤分類所造成的損失代價為目標，采用反向傳播算法，根據訓練樣本錯誤分類造成的總體損失代價，依次計算每層網絡的代價敏感度，用于更新修正網絡權值參數；設第k個樣本的預測輸出值將不同情感錯分類型所引起的損失代價融入CNN方法中，則模型在單個訓練樣本k上的損失代價為E_k，其計算如式(5)所示：

其中，表示輸出層第j個神經元的預測輸出值，表示輸出層第j個神經元的實際輸出值；

步驟5：根據隨機梯度下降算法，計算權重修正值和偏置修正值，更新卷積神經網絡模型參數；

權重的更新公式為：

其中，從全連接層第h個神經元到輸出層第i個神經元的連接權重為ω_hi，t是指訓練過程的第t次迭代；η為學習率，表示卷積層誤差對偏置的偏導數，E_k為樣本損失代價；指卷積層第i個特征圖的代價敏感度；全連接層第h個神經元的輸出為v_h；

偏置的更新公式為：

其中，b_j^l表示卷積層第j個特征圖的偏置值，t是指訓練過程的第t次迭代；表示偏置梯度，E_k為樣本損失代價；表示當前卷積層l的代價敏感度；u,v分別為l層第j個特征圖的行數和列數；

步驟6：判斷迭代次數或損失代價是否達到閾值，如果均未滿足，則繼續迭代并計算權重修正值和偏置修正值；否則訓練結束，得到優化好的基于代價敏感卷積神經網絡的人臉表情識別模型。

2.如權利要求1所述的一種基于代價敏感卷積神經網絡的人臉表情識別方法，其特征在于，所述前向傳播過程包括卷積操作和池化操作兩部分，具體如下：

卷積操作：用權重不同的卷積核對輸入特征圖進行映射，再加上偏置，經過激活函數計算得到卷積層的輸出特征圖；

設池化層為第l-1層，卷積層為第l層，則卷積操作計算如式(3)所示：

其中，i表示池化層特征圖的序號，j表示卷積層特征圖的序號，m表示連接到卷積層第j個特征圖的池化層特征圖個數，y_j^l表示卷積層第j個特征圖，表示池化層第i個特征圖，b_j^l表示卷積層第j個特征圖的偏置值，f(·)為激活函數；

池化操作：采用均值池化或最大值池化的方式進行特征圖縮放，以減小模型參數維數；池化操作過程不改變特征圖的個數，即池化層與前驅卷積層之間的特征映射是一一對應的，則池化操作如式(4)所示：

其中，和分別表示池化層和卷積層的第j個特征圖；down(·)為池化操作函數。

3.如權利要求1所述的一種基于代價敏感卷積神經網絡的人臉表情識別方法，其特征在于，所述訓練樣本每層的代價敏感度計算分為三個階段：

(1)輸出層到全連接層的反向傳播

設全連接層第h個神經元的輸出為v_h、偏置為b_h，從全連接層第h個神經元到輸出層第i個神經元的連接權重為ω_hi，則輸出層第i個神經元的輸入值β_i為：

其中，q為全連接層的神經元個數；

設輸出層神經元的激活函數為f(·)，則輸出層第i個神經元的預測輸出值為：

根據鏈式求導法則，注意到ω_hi先影響輸出層第i個神經元的輸入值β_i，再影響其預測輸出值最后影響樣本損失代價E_k，則權值梯度的計算如式(8)所示：

由式(6)β_i的定義，可得出：

同理，根據鏈式求導法則，注意到b_h先影響輸出層第i個神經元的輸入值β_i，再影響其預測輸出值最后影響樣本損失代價E_k，則偏置梯度的計算如式(10)所示：

由式(6)β_i的定義，可得出：

則輸出層第i個神經元的代價敏感度δ_i為：

(2)池化層到卷積層的反向傳播

設卷積層、池化層分別為第l層、l+1層，且卷積層和池化層第j個特征圖的代價敏感度分別為則由通過上采樣操作計算得到，如式(13)所示：

其中，是指網絡l層第j個特征圖的輸入，upsample(·)表示上采樣操作函數，f'(·)為激活函數的導數；

卷積層誤差對權重的偏導數等于其前驅池化層第p個特征圖和當前卷積層l的代價敏感度的卷積之和，其計算如式(14)所示：

同理，卷積層誤差對偏置的偏導數為：

其中，u,v分別為網絡l層第j個特征圖的行數和列數；

(3)卷積層到池化層的反向傳播

設卷積層、池化層分別為第l層、l-1層，且卷積層第i個特征圖的代價敏感度為則池化層第j個特征圖的代價敏感度計算如式(16)所示：

其中，是l層第i個特征圖的卷積核權值，是l-1層第j個特征圖的輸出值。