[發(fā)明專利]一種基于課程學(xué)習(xí)的面部表情識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910122892.5
• 申請(qǐng)日: 2019-02-19
• 公開（公告）號(hào): CN109829441B
• 公開（公告）日: 2020-08-21
• 發(fā)明（設(shè)計(jì)）人: 周風(fēng)余;劉曉倩;常致富;王淑倩
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 楊哲

本發(fā)明公開了一種基于課程學(xué)習(xí)的面部表情識(shí)別方法及裝置，該裝置基于一種基于課程學(xué)習(xí)的面部表情識(shí)別方法，包括：接收面部樣本集，進(jìn)行數(shù)據(jù)預(yù)處理；構(gòu)建表情識(shí)別網(wǎng)絡(luò)主模型；將預(yù)處理后的面部樣本集輸入表情識(shí)別網(wǎng)絡(luò)主模型，確定每類表情的聚類中心，并對(duì)每類表情樣本劃分子集；根據(jù)劃分出的子集，以課程學(xué)習(xí)的訓(xùn)練策略優(yōu)化模型；接收待識(shí)別面部數(shù)據(jù)，根據(jù)優(yōu)化后的模型進(jìn)行面部表情識(shí)別。

技術(shù)領(lǐng)域

本公開屬于計(jì)算機(jī)視覺的技術(shù)領(lǐng)域，涉及一種基于課程學(xué)習(xí)的面部表情識(shí)別方法及裝置。

背景技術(shù)

本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

面部表情識(shí)別是圖像識(shí)別領(lǐng)域一個(gè)很重要的問題。近年來，面部表情識(shí)別得到了越來越多的關(guān)注，其廣泛應(yīng)用于心態(tài)分析、醫(yī)療診斷、廣告效果研究等很多領(lǐng)域。面部表情是人們傳達(dá)自身情感和意圖最有利、最自然、最普遍的信號(hào)之一，而面部表情識(shí)別是基于面部的七種表情(生氣、厭惡、害怕、高興、傷心、吃驚和中立)來確定人的情感。

面部表情識(shí)別的重點(diǎn)在于如何更加有效的提取有區(qū)分性的特征，然后利用訓(xùn)練好的分類器進(jìn)行識(shí)別不同的表情，這些特征主要分為基于外觀的特征和基于幾何的特征。傳統(tǒng)的面部表情識(shí)別主要基于手工特征，過去廣泛使用的基于外觀的特征包含像素強(qiáng)度、局部二值特征、直方圖特征和小波特征等。然而基于外觀的特征是從整個(gè)面部提取的，與表情變化高度相關(guān)的局部區(qū)域，如鼻子、眼睛和嘴巴，都被忽略。

近年來深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺領(lǐng)域取得了很大的進(jìn)步，如目標(biāo)檢測(cè)、圖像分割和圖像分類等。深度神經(jīng)網(wǎng)絡(luò)可以自動(dòng)的從輸入圖像提取高級(jí)語(yǔ)義特征，其被認(rèn)為是最有可能接近人類水平的人工智能技術(shù)之一。已經(jīng)存在的基于手工特征的面部表情識(shí)別不能提取高級(jí)語(yǔ)義特征，而深度卷積神經(jīng)網(wǎng)絡(luò)可以端到端的提取特征。

雖然利用卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)取得了一定的進(jìn)步，但是提取有效的、具有區(qū)分力的、能夠代表每一類表情的特征仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，發(fā)明人認(rèn)為原因如下：

一方面是因?yàn)椴煌瑐€(gè)體的同一類表情之間具有很少的相似性，他們可能利用不同的方式表達(dá)同一種表情；

另一方面是因?yàn)橥粋€(gè)體的不同表情之間的不同點(diǎn)太少，因?yàn)楹芏啾砬闋顟B(tài)太微妙而不能區(qū)分，比如生氣、害怕和傷心，都展現(xiàn)出相同的面部肌肉單元的運(yùn)動(dòng)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的不足，本公開的一個(gè)或多個(gè)實(shí)施例提供了一種基于課程學(xué)習(xí)的面部表情識(shí)別方法及裝置,利用本公開該方法訓(xùn)練好的分類器具可以提取更加有效的、更有區(qū)分性的特征，使得模型擁有更好的泛化性能，進(jìn)而更加有效的識(shí)別面部表情。

根據(jù)本公開的一個(gè)或多個(gè)實(shí)施例的一個(gè)方面，提供一種基于課程學(xué)習(xí)的面部表情識(shí)別方法。

一種基于課程學(xué)習(xí)的面部表情識(shí)別方法，該方法包括：

接收面部樣本集，進(jìn)行數(shù)據(jù)預(yù)處理；

構(gòu)建表情識(shí)別網(wǎng)絡(luò)主模型；

將預(yù)處理后的面部樣本集輸入表情識(shí)別網(wǎng)絡(luò)主模型，確定每類表情的聚類中心，并對(duì)每類表情樣本劃分子集；

根據(jù)劃分出的子集，以課程學(xué)習(xí)的訓(xùn)練策略優(yōu)化模型；

接收待識(shí)別面部數(shù)據(jù)，根據(jù)優(yōu)化后的模型進(jìn)行面部表情識(shí)別。

進(jìn)一步地，在該方法中，所述面部樣本集中的面部樣本數(shù)據(jù)為面部樣本圖片，對(duì)面部樣本圖片進(jìn)行所述數(shù)據(jù)預(yù)處理包括對(duì)每幅面部樣本圖片進(jìn)行歸一化以及對(duì)面部樣本圖片中的每個(gè)像素進(jìn)行歸一化。

進(jìn)一步地，在該方法中，所述表情識(shí)別網(wǎng)絡(luò)主模型包括依次連接的InceptionResnet-V2預(yù)訓(xùn)練模型、全局平均池化層、全連接層和分類層；

所述InceptionResnet-V2預(yù)訓(xùn)練模型用于提取面部樣本集特征；