[發明專利]基于深度學習帶有旋轉信息的人臉表情識別方法

有效

• 申請號: 201710573387.3
• 申請日: 2017-07-14
• 公開（公告）號: CN107330420B
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 彭玉青;閆倩;宋初柏;劉璇;王緯華
• 申請（專利權）人: 河北工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰;張國榮

1.一種基于深度學習帶有旋轉信息的人臉表情識別方法，該方法的步驟是：

1)確定人臉表情識別的深度卷積神經網絡模型與參數；

2)將步驟1)中的深度卷積神經網絡模型中的第一個卷積層，即數據輸入層后面的Conv1層，改為帶有角度信息的卷積層，并將帶有角度信息的卷積層命名為NConv層；

3)通過圖像旋轉對FER2013人臉表情數據庫進行數據擴充，將擴充后的FER2013人臉表情數據庫命名為FER2013II數據庫，并對FER2013II數據庫進行標簽處理；

4)使用步驟3)得到的FER2013II數據庫對步驟2)處理后的深度卷積神經網絡模型進行訓練和測試，得到修正后的深度卷積神經網絡模型；

5)將需要進行識別的人臉表情圖片經過預處理后，輸入到修正后的深度卷積神經網絡模型中，輸出人臉表情識別結果；

所述步驟2)的具體過程是：在步驟1)的深度卷積神經網絡模型中的數據輸入層中獲取圖片的所有信息，然后在NConv層中根據獲取的圖片信息判斷旋轉角度，這里的旋轉角度均是指相對圖片正立時順時針旋轉的度數，若旋轉角度為0°，則適用于旋轉角度為0°的卷積方式，通過式(1)并按照從左到右，從上到下的順序進行卷積操作；若旋轉角度為90°，則適用于旋轉角度為90°的卷積方式，通過式(2)并按照從上到下,從右到左的順序進行卷積操作；若旋轉角度為180°，則適用于旋轉角度為180°的卷積方式，通過式(3)并按照從右到左,從下到上的順序進行卷積操作；若旋轉角度為270°，則適用于旋轉角度為270°的卷積方式，通過式(4)并按照從下到上，從左到右的順序進行卷積操作；在NConv層中進行卷積操作后，將計算結果輸入到下一層，也就是第一個池化層；

在上述四個公式中F均代表卷積后生成的特征圖；Mwidth表示數據輸入層輸入的圖片矩陣M的大小；Kwidth表示卷積核的大小；m表示人臉表情矩陣按照以行為主的順序存儲的像素值，其下標表示順序存儲的第幾個像素值；k表示卷積核以行為主的順序存儲的相應位置的數值，其下標表示卷積核中順序存儲的第幾個數值；b₁,b₂,b₃,b₄分別代表四個公式中的偏置。

2.根據權利要求1所述的基于深度學習帶有旋轉信息的人臉表情識別方法，其特征在于所述步驟3)中進行標簽處理的過程是：十位數字表示旋轉角度，個位數字表示表情分類，即分別用十位數字上的0、2、4、6表示旋轉角度為順時針方向的0°、90°、180°、270°；分別用個位數字上的0、1、2、3、4、5、6表示人臉表情為生氣、厭惡、害怕、高興、悲傷、吃驚、中性的7種表情。