[發明專利]基于空洞卷積的CNN微表情識別方法

在審

• 申請號: 202010041268.5
• 申請日: 2020-01-15
• 公開（公告）號: CN111274895A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 錢育蓉;賴振意;陳人和;賈金露
• 申請（專利權）人: 新疆大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 合肥方舟知識產權代理事務所(普通合伙) 34158
• 代理人: 劉躍

1.一種基于空洞卷積的CNN微表情識別方法，其特征在于，具體包括以下步驟：

步驟S1，實時采集人臉視頻，送入多任務卷積神經網絡模型。

步驟S2，通過多任務卷積神經網絡模型快速檢測和識別實時人臉視頻中的人臉圖像。

步驟S3，通過人臉自動矯正模塊進行人臉自動矯正，對步驟2中識別的人臉圖像區域進行校正。

步驟S4，通過結合空洞卷積的CNN模型對校正后的人臉圖像進行微表情特征提取。

步驟S5，通過類sofmax分類算法完成微表情實時分析。

步驟S6，輸出微表情識別結果。

2.根據權利要求1所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S2中的人臉檢測和識別包括以下步驟：

步驟S21，攝像頭實時檢測，獲取并傳輸多幀連續人臉視頻圖像。

步驟S22，轉換RGB圖像，獲取圖像參數，包括圖像高度h和寬度w。

步驟S23，定義多任務卷積神經網絡模型的模型參數，包括最小人臉尺寸，模型訓練過程中三個階段的臨界值和模型比例因數。

步驟S24，計算BB回歸損失值，若BB回歸損失值小于1，則未檢測到人臉，反之，計算人臉所在位置坐標。

步驟S25，依據步驟S24的坐標信息進行圖像切割，顯示人臉推薦窗口。

3.根據權利要求1所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S3中的人臉自動矯正包括以下步驟：

步驟S31，獲取多任務卷積神經網絡模型的人臉標記點坐標及推薦框坐標。

步驟S32，計算兩眼之間的直線距離及水平夾角角度。

步驟S33，依據夾角讀書順時針完成圖像旋轉。

步驟S34，依據夾角完成推薦框坐標變換。

步驟S35，依據步驟S34的坐標完成人臉圖像裁剪。

4.根據權利要求1所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S4中的空洞卷積，其卷積構造方法是在傳統的卷積核中增加權重為0的卷積像素，引入擴張率參數r定義卷積核處理數據時各值的間距，在原卷積和的基礎上增加(r_i-1)²個空洞，其第i卷積層的特征圖o的計算方式為

5.根據權利要求1所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S4中結合空洞卷積的CNN模型的網絡結構以16層的VGG網絡作為基礎網絡框架，整個卷積網絡由13個卷積層及空洞塊構成，在網絡計算結束時保證輸出為7*7的特征圖，所述空洞塊由擴張系數為4和2的卷積核且大小為3*3的卷積層串聯形成。

6.根據權利要求1所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S5中，定義訓練數據X包含k個訓練樣本x，并將其分為生氣、厭惡、恐懼、幸福、悲傷、驚訝和自然7類表情，通過Softmax分類器將神經網絡輸出歸一到(0，1)的概率分布上，則第i個樣本的概率為

7.根據權利要求6所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S5中，采用相對熵來衡量樣本x的真實分布p與模型預測分布q間的差異，

8.根據權利要求7所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S5中，評估計算過程中真實分布p的熵-H(p(x))保持不變，計算交叉熵，

9.根據權利要求8所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S5中，增加不同類別權重weight控制正負樣本平衡并計算loss值，

10.根據權利要求9所述的一種基于空洞卷積的CNN微表情識別方法，其特征在于，步驟S5中，采用Focal loss解決正負樣本比例嚴重失衡的問題，Focal loss在交叉熵的基礎上增加參數γ與平衡權重因子α，

FL_loss＝α_i[-(1-p(x_i))]^γ*CE_loss。