[發明專利]一種自適應加權融合顯著性結構張量和LBP特征的表情識別方法

有效

• 申請號: 201810772516.6
• 申請日: 2018-07-13
• 公開（公告）號: CN109165551B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 張靈;董俊蘭
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明公開了一種自適應加權融合顯著性結構張量和LBP特征的表情識別方法，通過將結構張量特征和LBP特征進行融合使得圖像特征既包含紋理細節信息又包含紋理結構信息，從而擁有更強的描述能力。結果表明該方法提高了表情識別的準確率。

技術領域

本發明涉及圖像處理和計算機視覺領域，更具體地，涉及一種自適應加權融合顯著性結構張量和LBP特征的表情識別方法。

背景技術

近年來，表情識別在教育、心理分析、醫學以及商業領域引起了廣泛關注。表情識別主要由圖像預處理、特征提取和分類識別三部分組成。在特征提取方面，比較常用的特征主要有顏色、紋理、梯度、深度等。LBP紋理特征由于在人臉圖像分析時對諸如姿態和光照等因素的變化時仍表現很強的魯棒性，并且運算速度快，得到了廣泛應用。然而傳統的LBP只考慮了中心像素與鄰域像素的差異，沒有考慮差值幅度，丟失了圖像的結構信息。Guo等提出了完全局部二值模式(CLBP)算法，該算法提取的特征具有較強的鑒別力，但是CLBP包含過多的冗余信息，增加了時間復雜度。Yang等人利用LBP和SVM決策樹進行表情識別，識別率達到92％。該方法雖然識別率較高，但是單一特征不能有效全面地描述表情圖像的詳細信息。鄭永斌等將SIFT與LBP進行結合，得到一種新的圖像描述和匹配算法，但是該方法具有“不準確性”，且消耗內存。這些方法相比于傳統的LBP都具有不同的優勢，但是都沒尋找到與LBP具有互補性的一種方法來提取更有效且全面的特征。

發明內容

本發明的目的是解決上述一個或多個缺陷，提出一種自適應加權融合顯著性結構張量和LBP特征的表情識別方法。

為實現以上發明目的，采用的技術方案是：

一種自適應加權融合顯著性結構張量和LBP特征的表情識別方法，包括以下步驟：

S1：數據預處理，選擇不同的表情圖片組成訓練集和測試集，提取純人臉圖片，對表情圖像進行校正和尺寸歸一化，只留下人臉區域，將頭發區域、耳朵區域和脖子區域去除；

S2：獲取顯著圖，將預處理后的數據集用頻率調諧顯著性區域檢測算法提取人臉的顯著性區域，得到各種表情的顯著圖，其中表情的顯著性區域主要集中在眼睛區域、鼻子區域、嘴巴區域；

S3：特征提取，提取顯著性紋理特征，在顯著圖的基礎上提取LBP特征和結構張量特征；

S4：特征融合，通過計算不同子塊結構張量特征直方圖和LBP特征直方圖的信息熵，根據信息熵的貢獻度作為加權因子來進行融合得到每個子塊的特征向量，最后把每個子塊的特征向量連接起來作為最終的分類特征，具體實現過程如下：

先將顯著圖劃分成k×k個子區域，計算每個子區域的兩種特征的信息熵：

上式中Em表示第m子塊的信息熵的值，n表示像素值255，pm(i)表示像素值i出現的概率；

然后根據每一子區域的特征信息熵在兩種特征信息熵E總和的占比來決定相應的權重系數。根據權重系數來加權融合兩種紋理特征：

H_m＝w*H_LBP+(1-w)H_ST

式中wm表示第m子塊的LBP特征的加權值，EmLBP表示LBP特征的信息熵，EmST表示結構張量特征的信息熵，Hm表示融合后的新特征；

最后將各個子塊的特征向量按順序串接組合起來，得到最終的聯合特征向量：

H＝[H₁,H₂,H₃L,H_m,L H_k×k]。

S5：分類識別，將測試集和訓練集新的特征送入支持向量機(SVM)進行分類測試。