[發(fā)明專利]基于三點(diǎn)定位方法的多尺寸人臉表情識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810064184.6
• 申請(qǐng)日: 2018-01-23
• 公開(kāi)（公告）號(hào): CN108197593B
• 公開(kāi)（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 羅韻
• 申請(qǐng)（專利權(quán)）人: 深圳極視角科技有限公司;深圳潤(rùn)藝文化發(fā)展有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本申請(qǐng)實(shí)施例公開(kāi)了基于三點(diǎn)定位方法的多尺寸人臉表情識(shí)別方法及裝置，用于準(zhǔn)確識(shí)別出人臉并進(jìn)行表情識(shí)別，提高了人臉識(shí)別模型識(shí)別人臉的正確率。本申請(qǐng)實(shí)施例方法包括：服務(wù)器接收攝像頭拍攝的圖像信息，所述圖像信息中包含有第一人臉數(shù)據(jù)；所述服務(wù)器將所述圖像信息輸入人臉檢測(cè)器；所述服務(wù)器根據(jù)人臉檢測(cè)器檢測(cè)出所述第一人臉數(shù)據(jù)中的候選人臉數(shù)據(jù)；所述服務(wù)器對(duì)所述候選人臉數(shù)據(jù)進(jìn)行三點(diǎn)定位；所述服務(wù)器判斷所述候選人臉數(shù)據(jù)是否三點(diǎn)定位成功；若是，則所述服務(wù)器確定第二人臉數(shù)據(jù)；所述服務(wù)器將所述第二人臉數(shù)據(jù)輸入至表情識(shí)別模型；所述服務(wù)器利用所述表情識(shí)別模型輸出所述第二人臉數(shù)據(jù)所具有的表情。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人臉識(shí)別技術(shù)，特別涉及人臉表情識(shí)別技術(shù)。

背景技術(shù)

人臉表情是人類交流的一種有效表達(dá)方式，影視劇娛樂(lè)公司為了促進(jìn)文化和自身公司的商業(yè)發(fā)展，提升公演和播放的影視劇作品的價(jià)值至關(guān)重要，其中，通過(guò)分析觀眾在觀劇時(shí)的表情能夠有助于公司自身制定更好的戰(zhàn)略，并且，通過(guò)分析表演過(guò)程中觀眾在觀看精彩或失誤的片段時(shí)的表情，能夠促進(jìn)影視劇作品以及表演者演技的進(jìn)一步提升。這就需要在環(huán)境昏暗、光照閃爍不定的劇場(chǎng)環(huán)境中，對(duì)觀眾的表情進(jìn)行準(zhǔn)確的識(shí)別。

現(xiàn)有的表情識(shí)別的方法中，通常是服務(wù)器先使用人臉檢測(cè)器檢測(cè)出圖像信息中的待進(jìn)一步檢測(cè)的人臉數(shù)據(jù)，然后對(duì)待進(jìn)一步檢測(cè)的人臉數(shù)據(jù)進(jìn)行五點(diǎn)定位，即通過(guò)人臉的五個(gè)特征點(diǎn)(左眼、右眼、鼻子、左嘴角和右嘴角)，定位成功的人臉數(shù)據(jù)將會(huì)被輸入到表情識(shí)別模型，并由表情識(shí)別模型輸出人臉數(shù)據(jù)所具有的表情。

然而由于劇場(chǎng)的空間很大，拍攝圖片時(shí)人臉在圖片中所占的比例很小，一個(gè)人臉可能只有20×20像素，在800萬(wàn)像素的畫面可以同時(shí)容納80-120個(gè)人臉，因此服務(wù)器使用五點(diǎn)定位法對(duì)于人臉的關(guān)鍵特征點(diǎn)的捕捉難度非常大，人臉定位的準(zhǔn)確度低下，這樣就難以得到準(zhǔn)確的人臉數(shù)據(jù)，以至難以準(zhǔn)確輸出人臉數(shù)據(jù)的表情。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了基于三點(diǎn)定位方法的多尺寸人臉表情識(shí)別的方法以及裝置，能夠通過(guò)對(duì)人臉進(jìn)行三點(diǎn)定位，準(zhǔn)確捕捉人臉的關(guān)鍵特征點(diǎn)，提高了對(duì)小人臉定位的準(zhǔn)確度，得到更準(zhǔn)確的人臉數(shù)據(jù)和表情數(shù)據(jù)。

本申請(qǐng)實(shí)施例提供了基于三點(diǎn)定位方法的多尺寸人臉表情識(shí)別的方法，包括：

服務(wù)器接收攝像頭拍攝的圖像信息，所述圖像信息中包含有第一人臉數(shù)據(jù)；

所述服務(wù)器將所述圖像信息輸入人臉檢測(cè)器；

所述服務(wù)器根據(jù)人臉檢測(cè)器檢測(cè)出所述第一人臉數(shù)據(jù)中的候選人臉數(shù)據(jù)；

所述服務(wù)器對(duì)所述候選人臉數(shù)據(jù)進(jìn)行三點(diǎn)定位；

所述服務(wù)器判斷所述候選人臉數(shù)據(jù)是否三點(diǎn)定位成功；

若是，則所述服務(wù)器確定第二人臉數(shù)據(jù)；

所述服務(wù)器將所述第二人臉數(shù)據(jù)輸入至表情識(shí)別模型；

所述服務(wù)器利用所述表情識(shí)別模型輸出所述第二人臉數(shù)據(jù)所具有的表情。

可選地，所述三點(diǎn)定位為所述服務(wù)器對(duì)所述候選人臉數(shù)據(jù)中的左眼中心、右眼中心以及鼻尖進(jìn)行定位。

可選地，所述人臉檢測(cè)器為多尺寸人臉檢測(cè)器。

可選地，所述表情識(shí)別模型是輸出為64位的FaceNet。

本申請(qǐng)實(shí)施例提供了一種基于三點(diǎn)定位方法的多尺寸人臉表情識(shí)別裝置，包括：

接收單元，用于接收攝像頭拍攝的圖像信息，所述圖像信息中包含有第一人臉數(shù)據(jù)；

第一輸入單元，用于將所述圖像信息輸入人臉檢測(cè)器；

檢測(cè)單元，用于根據(jù)人臉檢測(cè)器檢測(cè)出所述第一人臉數(shù)據(jù)中的候選人臉數(shù)據(jù)；