[發明專利]基于GPU加速的人臉表情識別及互動方法

有效

• 申請號: 201510335907.8
• 申請日: 2015-06-17
• 公開（公告）號: CN104881660B
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 潘志庚;嚴政;張明敏
• 申請（專利權）人: 吉林紀元時空動漫游戲科技集團股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 吉林長春新紀元專利代理有限責任公司22100
• 代理人: 王怡敏

1.一種基于GPU加速的人臉表情識別及互動方法，其特征在于：包括以下步驟：

步驟（1）、通過普通攝像頭或者視頻獲得動態人臉表情：

將普通攝像頭連接到計算機，并將普通攝像頭放置于演奏者臉部正前方，距離人臉50-60厘米，通過攝像頭獲得包含正面人臉的圖像；

步驟（2）、使用基于Haar特征和AdaBoost級聯分類器的識別方法對人臉進行檢測，提取出離攝像頭最近，即占據畫面最大的人臉圖像：

步驟（3）、通過提取出的人臉圖像，使用基于Haar特征及AdaBoost的識別方法，識別出瞳孔、鼻尖位置坐標；

步驟（4）、將人臉分為若干個關鍵區域：

通過對人臉微表情的分析，將人臉分為若干個區域，其中，以瞳孔位置為中心，向左15像素，向右15像素，向上35像素，向下15像素的區域為眉毛表情區域，用來檢測眉毛的細微變化，另外分別還有覆蓋眼睛微表情、面頰微表情以及嘴唇微表情的區域；

步驟（5）、對整張人臉實現基于GPU加速的Gabor濾波：

Gabor濾波需要大量分別對Gabor核實部和虛部的卷積操作，Gabor核越大，卷積圖像越大，耗時越長，選用21*21像素大小的Gabor核，卷積圖像為150*150；針對卷積算法耗時長的特性，使用了基于FFT的方法，將空間域的卷積操作轉化為頻率域的相乘操作，每次卷積只需要1次FFT變換，1次相乘和1次逆FFT變換，時間復雜度為nlog(n)，可以達到較快的速度，同時使用GPU加速并行處理技術，對FFT變換進行加速，同時將Gabor核的FFT變換結果保存在顯存中，減少運算的時間；Gabor濾波之后，每個像素點都擁有40個幅值作為特征；

步驟（6）、對人臉特征點附近的關鍵區域進行特征提取：

通過將步驟（4）中獲得的眉毛表情區域ROI、覆蓋眼睛微表情、面頰微表情以及嘴唇微表情的區域，將每一個ROI中的像素點根據從左到右、從上到下的順序進行排列，再將40個幅值代入，得到ROI的特征；

步驟（7）、如果此時為訓練模式，則將提取出的特征根據微表情出現與否打上標簽，并通過增量SVM訓練的方式生成識別模型：CK、CK+、MMI人臉表情數據庫中，包含表情的圖片以及制作者手工標記的微表情信息，通過將對應的圖像通過步驟（1）至步驟（6），獲得對應的特征，通過根據制作者手工標記的微表情信息，以具體微表情作為分類集合微表情區域特征，通過帶懲罰的SVM支持向量機進行訓練，其中懲罰參數為10，獲得微表情識別模型；共對16個表情進行識別，所以生成了16個微表情識別模型；

步驟（8）、如果此時為識別模式，則將提取出的特征投入對應的識別模型中，獲得微表情的具體信息：通過步驟（7），可以生成16個微表情識別模型，通過將步驟（6）中生成的特征，投入到算法C-SVM中，可以準確地獲得微表情是否出現的信息。

2.根據權利要求1所述的基于GPU加速的人臉表情識別及互動方法，其特征在于：所述的步驟（2）中使用基于Haar特征和AdaBoost級聯分類器的識別方法對人臉進行檢測，提取出離攝像頭最近，即占據畫面最大的人臉圖像，其步驟是：

（2.1）、在步驟（1）獲得的圖像基礎上，使用OpenCV自帶的基于Haar特征和AdaBoost級聯分類器方法進行人臉檢測，其中scale參數為1.1，minNeighbors參數為3；

（2.2）、將所有檢測出來的人臉以人臉大小從大到小進行排序，計算出人臉大小的中位數，并刪除比中位數大30%和比中位數小30%的人臉，在剩余的人臉中，選擇最大的一個并記錄其坐標；

（2.3）、圖像預處理：在表情識別中，源圖片在大小、光照、位置方面有很多差異，而理想輸入是純表情區域，所以需要經過如下步驟的預處理：

（2.3.1）、光照歸一化，即直方均衡；

（2.3.2）、幾何歸一化，即轉換至150*150分辨率；

（2.4）、把一個橢圓形的掩膜以人臉的中心覆蓋在圖像上，長軸長度為圖像高度的47%，短軸長度為圖像寬度的41.6%，劃出純表情區域，以有效排除掉人臉之外的噪聲。