[發(fā)明專利]光照和頭部姿態(tài)魯棒的表情識(shí)別方法、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011424201.6
• 申請(qǐng)日: 2020-12-08
• 公開（公告）號(hào): CN112541422A
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計(jì)）人: 胡四泉;桂雨蓉;石志國
• 申請(qǐng)（專利權(quán)）人: 北京科技大學(xué);北京科技大學(xué)順德研究生院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波;付忠林

本發(fā)明公開了一種光照和頭部姿態(tài)魯棒的表情識(shí)別方法、設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取待識(shí)別的人臉圖像并進(jìn)行預(yù)處理；從預(yù)處理后的人臉圖像中提取出面部區(qū)域圖像和預(yù)設(shè)類型的關(guān)鍵點(diǎn)；獲取預(yù)設(shè)區(qū)域的紋理和邊緣特征向量；獲取人物頭部姿態(tài)偏轉(zhuǎn)方向，根據(jù)人物頭部姿態(tài)偏轉(zhuǎn)方向的不同，采取不同的姿態(tài)微調(diào)方式進(jìn)行頭部姿態(tài)校正；通過雙通道卷積神經(jīng)網(wǎng)絡(luò)，根據(jù)校正后的面部區(qū)域圖像，對(duì)人物表情進(jìn)行識(shí)別；其中，網(wǎng)絡(luò)的第一維度輸入數(shù)據(jù)為校正后的面部區(qū)域圖像，第二維度輸入數(shù)據(jù)為預(yù)設(shè)區(qū)域的紋理和邊緣特征向量。本發(fā)明可解決光照分布不均和頭部姿態(tài)改變導(dǎo)致的表情識(shí)別準(zhǔn)確率下降的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別涉及一種光照和頭部姿態(tài)魯棒的表情識(shí)別方法、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)今，我國大中小學(xué)階段的教師以及學(xué)生均面臨著不同程度的教育壓力，課堂上的教學(xué)效率也因此顯得尤為重要。我國普遍的課堂形式為教師參考教學(xué)大綱按部就班地授課，有時(shí)采取提問、小組討論等來增加師生和生生間的互動(dòng)。但是，當(dāng)教學(xué)內(nèi)容進(jìn)行到比較枯燥的部分時(shí)，大部分學(xué)生的聽課效率會(huì)有所下降，教師若無法及時(shí)發(fā)現(xiàn)學(xué)生們的狀態(tài)，并對(duì)教學(xué)進(jìn)度進(jìn)行調(diào)整，則會(huì)對(duì)整體的教學(xué)效率產(chǎn)生不利影響。

人工智能領(lǐng)域的蓬勃發(fā)展，尤其是深度學(xué)習(xí)技術(shù)廣泛應(yīng)用于圖像識(shí)別、人臉表情識(shí)別，為傳統(tǒng)課堂形式的改變帶來契機(jī)。利用大規(guī)模的表情數(shù)據(jù)集訓(xùn)練出高效率、高準(zhǔn)確率的表情識(shí)別模型，對(duì)課堂中學(xué)生們的表情進(jìn)行識(shí)別，以便后續(xù)通過表情對(duì)學(xué)生們的心理情境做出分析。但是，由于教室內(nèi)外光源變化以及學(xué)生聽課過程中頭部姿態(tài)的變化均會(huì)對(duì)識(shí)別結(jié)果產(chǎn)生影響，因此，如何改善這些外界因素對(duì)于表情識(shí)別的影響成為亟待解決的問題。

目前，現(xiàn)有技術(shù)方案主要存在以下缺點(diǎn)：

1)現(xiàn)有技術(shù)方案對(duì)面部表情圖像采用的光照預(yù)處理方法大多適用于光照分布比較統(tǒng)一的圖像。而對(duì)于教室環(huán)境下學(xué)生由于位置不同導(dǎo)致面部的光照分布也不同的情況，現(xiàn)有技術(shù)方案采用的光照預(yù)處理方法由于調(diào)整參數(shù)固定，不能有效地針對(duì)每張圖片的光照分布情況自適應(yīng)地進(jìn)行調(diào)整，部分圖像會(huì)出現(xiàn)調(diào)整后曝光過度或者調(diào)整效果不明顯的情況。

2)現(xiàn)有技術(shù)方案對(duì)于面部表情圖像采用的姿態(tài)校正和人臉對(duì)齊的方法大多基于仿射變換和非線性映射等算法，對(duì)于頭部姿態(tài)偏轉(zhuǎn)幅度在45°以內(nèi)的面部圖像，現(xiàn)有技術(shù)方案的校正表現(xiàn)良好，但是對(duì)于頭部姿態(tài)偏轉(zhuǎn)幅度超出45°或發(fā)生俯仰角、偏航角、翻滾角等三維角度的姿態(tài)偏轉(zhuǎn)時(shí)，現(xiàn)有技術(shù)方案的校正表現(xiàn)大打折扣，并且校正后的圖像用于表情識(shí)別不足以提升識(shí)別的準(zhǔn)確率。

3)現(xiàn)有技術(shù)方案對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的搭建和訓(xùn)練大多基于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微調(diào)或修改網(wǎng)絡(luò)參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)，一般經(jīng)過訓(xùn)練后都可以達(dá)到較高的準(zhǔn)確率。但對(duì)于在教室場(chǎng)景下，學(xué)生的面部表情往往不會(huì)發(fā)生明顯的變化，并且學(xué)生頭部姿態(tài)偏轉(zhuǎn)較大會(huì)導(dǎo)致表情信息缺失較嚴(yán)重，現(xiàn)有技術(shù)方案的表情識(shí)別方法更多地傾向于依賴卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，用于真實(shí)的教室場(chǎng)景，表情識(shí)別率不佳。

發(fā)明內(nèi)容

本發(fā)明提供了一種光照和頭部姿態(tài)魯棒的表情識(shí)別方法、設(shè)備及存儲(chǔ)介質(zhì)，以解決在教學(xué)場(chǎng)景下，由于受到光照和頭部姿態(tài)影響，造成學(xué)生面部表情信息的缺失，從而導(dǎo)致表情識(shí)別準(zhǔn)確率大大下降的技術(shù)問題。

為解決上述技術(shù)問題，本發(fā)明提供了如下技術(shù)方案：

一方面，本發(fā)明提供了一種光照和頭部姿態(tài)魯棒的表情識(shí)別方法，其包括：

獲取待識(shí)別的人臉圖像，并對(duì)獲取的人臉圖像進(jìn)行預(yù)處理，以將所獲取的人臉圖像的光照分布自適應(yīng)調(diào)整至符合預(yù)設(shè)均勻度要求的分布；

從預(yù)處理后的人臉圖像中提取出面部區(qū)域圖像和預(yù)設(shè)類型的關(guān)鍵點(diǎn)；

基于得到的預(yù)設(shè)類型的關(guān)鍵點(diǎn)，獲取預(yù)設(shè)區(qū)域的紋理和邊緣特征向量；基于得到的預(yù)設(shè)類型的關(guān)鍵點(diǎn)，獲取人物頭部姿態(tài)偏轉(zhuǎn)方向，根據(jù)人物頭部姿態(tài)偏轉(zhuǎn)方向的不同，采取不同的姿態(tài)微調(diào)方式對(duì)面部區(qū)域圖像進(jìn)行頭部姿態(tài)校正；