[發(fā)明專利]表情特征提取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201611076658.6
• 申請(qǐng)日: 2016-11-29
• 公開（公告）號(hào): CN106778545A
• 公開（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 徐曉東;張程;張毅
• 申請(qǐng)（專利權(quán)）人: 重慶重智機(jī)器人研究院有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11371
• 代理人: 唐維虎

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分析領(lǐng)域，具體而言，涉及一種表情特征提取方法及裝置。

背景技術(shù)

生物特征識(shí)別隨著模式識(shí)別與人工智能等技術(shù)的不斷發(fā)展而受到廣泛的關(guān)注。如今主要有指紋識(shí)別、人臉識(shí)別、語音識(shí)別、掌紋識(shí)別、視網(wǎng)膜識(shí)別、虹膜識(shí)別及面部表情識(shí)別等生物特征識(shí)別。其中，面部表情識(shí)別對(duì)人類情感理解、心理狀態(tài)及情緒變化的判斷有著非常重要的理論意義及實(shí)際的應(yīng)用價(jià)值。

現(xiàn)有技術(shù)中表情特征提取主要基于整個(gè)面部在產(chǎn)生表情時(shí)其肌肉運(yùn)動(dòng)所帶來的形狀變化來考慮，存在運(yùn)算過程復(fù)雜的問題，導(dǎo)致表情特征提取速度緩慢。且現(xiàn)有技術(shù)的表情特征提取缺少局域性，導(dǎo)致獲取的圖像未保留原始面部圖像的精細(xì)結(jié)構(gòu)，無法反映面部圖像的邊緣輪廓信息，表情識(shí)別率不是很高。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中的上述不足，本發(fā)明的目的在于提供一種表情特征提取方法，應(yīng)用于電子終端，所述方法包括：

獲得圖像庫中包括多種預(yù)設(shè)表情的面部圖像；

根據(jù)所述面部圖像，通過PCA算法計(jì)算獲得各面部圖像的全局表情特征；

根據(jù)面部器官對(duì)表情識(shí)別的貢獻(xiàn)程度，將所述面部圖像劃分為多個(gè)面部器官識(shí)別區(qū)域；

根據(jù)不同所述面部圖像中每個(gè)面部器官識(shí)別區(qū)域的數(shù)據(jù)，通過LDP算法計(jì)算獲得所述面部圖像每個(gè)面部器官識(shí)別區(qū)域的區(qū)域紋理特征；

基于所述面部圖像的全局表情特征及所述每個(gè)所述面部器官識(shí)別區(qū)域的區(qū)域紋理特征，加權(quán)計(jì)算獲得所述面部圖像的融合表情特征向量。

進(jìn)一步地，在上述方法中，所述根據(jù)所述面部圖像，通過PCA算法計(jì)算獲得各面部圖像的全局表情特征的步驟包括：

根據(jù)所述面部圖像數(shù)據(jù)，獲得每個(gè)所述面部圖像的像素矩陣向量；

根據(jù)多個(gè)所述面部圖像的像素矩陣向量，計(jì)算獲得所述圖像庫中面部圖像的平均像素矩陣向量；

根據(jù)每個(gè)所述面部圖像的像素矩陣向量及所述平均像素矩陣向量，計(jì)算獲得每個(gè)所述面部圖像的標(biāo)準(zhǔn)矩陣向量，其中，所述標(biāo)準(zhǔn)矩陣向量為各所述面部圖像的像素矩陣向量與所述平均像素矩陣向量的差；

根據(jù)每個(gè)所述面部圖像的標(biāo)準(zhǔn)矩陣向量，計(jì)算獲得所述圖像庫的總體散布矩陣；

根據(jù)總體散布矩陣得到所述圖像庫的特征向量組；

根據(jù)所述特征向量組的特征子空間得到各所述面部圖像的全局表情特征。

進(jìn)一步地，在上述方法中，所述根據(jù)面部器官對(duì)表情識(shí)別的貢獻(xiàn)程度，將所述面部圖像劃分為多個(gè)面部器官識(shí)別區(qū)域的方式包括：

將所述面部圖像劃分為眼部識(shí)別區(qū)域及嘴部識(shí)別區(qū)域。

進(jìn)一步地，在上述方法中，所述區(qū)域紋理特征通過局部LDP直方圖表征；所述根據(jù)不同所述面部圖像中每個(gè)面部器官識(shí)別區(qū)域的數(shù)據(jù)，通過LDP算法計(jì)算獲得所述面部圖像每個(gè)面部器官識(shí)別區(qū)域的區(qū)域紋理特征的步驟包括：

將面部圖像的任意像素點(diǎn)作為中心點(diǎn)，將其分別與8個(gè)方向的Kirsch算子進(jìn)行卷積運(yùn)算，獲得中心點(diǎn)周圍的8個(gè)方向的邊緣響應(yīng)值；

將獲取的所述8個(gè)方向的邊緣響應(yīng)值取絕對(duì)值，并進(jìn)行排序；

根據(jù)排序后的邊緣響應(yīng)值取絕對(duì)值編碼獲得LDP碼值；

根據(jù)所述LDP碼值計(jì)算獲得各面部器官識(shí)別區(qū)域的局部LDP直方圖。

進(jìn)一步地，在上述方法中，所述根據(jù)所述面部圖像的全局表情特征及所述每個(gè)所述面部器官識(shí)別區(qū)域的區(qū)域紋理特征，加權(quán)計(jì)算獲得所述面部圖像的融合表情特征向量的步驟包括：

將所述面部圖像各面部器官識(shí)別區(qū)域的區(qū)域LDP直方圖合成為統(tǒng)一LDP直方圖；

按從左至右、從上而下的順序依次將所述統(tǒng)一LDP直方圖存為L(zhǎng)DP特征向量；

將所述面部圖像的全局表情特征向量及LDP特征向量加權(quán)融合，獲得融合表情特征向量。

本發(fā)明的另一目的在于提供一種表情特征提取裝置，應(yīng)用于電子終端，所述裝置包括：

圖像獲取模塊，用于獲得圖像庫中包括多種預(yù)設(shè)表情的面部圖像；

PCA計(jì)算模塊，用于根據(jù)所述面部圖像，通過PCA算法計(jì)算獲得各面部圖像的全局表情特征；

區(qū)域劃分模塊，用于根據(jù)面部器官對(duì)表情識(shí)別的貢獻(xiàn)程度，將所述面部圖像劃分為多個(gè)面部器官識(shí)別區(qū)域；

LDP計(jì)算模塊，用于根據(jù)不同所述面部圖像中每個(gè)面部器官識(shí)別區(qū)域的數(shù)據(jù)，通過LDP算法計(jì)算獲得所述面部圖像每個(gè)面部器官識(shí)別區(qū)域的區(qū)域紋理特征；

融合計(jì)算模塊，用于基于所述面部圖像的全局表情特征及所述每個(gè)所述面部器官識(shí)別區(qū)域的區(qū)域紋理特征，加權(quán)計(jì)算獲得所述面部圖像的融合表情特征向量。