[發(fā)明專利]人臉圖像的情緒確定方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110580830.6
• 申請日: 2021-05-26
• 公開（公告）號: CN113326762A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計）人: 石家赫;李亞利;王生進
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G06F17/15;G06F40/284;G06F40/30
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 楊明月

本發(fā)明提供一種人臉圖像的情緒確定方法、裝置、電子設(shè)備及存儲介質(zhì)，其中所述方法包括：對待分析人臉圖像進行卷積計算，提取所述待分析人臉圖像的全圖特征；對所述全圖特征進行解耦，得到多個人臉部件的特征；基于動態(tài)融合依據(jù)狀態(tài)，動態(tài)融合所述多個人臉部件的特征，形成高層次語義特征；基于所述高層次語義特征和語言生成模型，以逐詞預(yù)測的方式生成情緒描述語句，提升了所生成的情緒描述語句的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及電子信息技術(shù)領(lǐng)域，尤其涉及一種人臉圖像的情緒確定方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

情緒分析技術(shù)實現(xiàn)了對人臉圖像的表情及其所反映情緒的理解和定性。目前情緒分析技術(shù)在智慧校園、治安防控等領(lǐng)域有著廣泛的應(yīng)用需求，例如，通過情緒分析可以讓教育部門掌握學(xué)生的情緒波動情況，對可能存在的心理異常狀態(tài)做到早發(fā)現(xiàn)、早排查、早干預(yù)，幫助降低校園安全風(fēng)險和學(xué)生心理壓力，為校方和教育部門科學(xué)精準決策提供依據(jù)。

現(xiàn)有情緒分析技術(shù)主要采取標簽分類的方式實現(xiàn)，標簽分類的方式將情緒籠統(tǒng)劃分為幾類，與表情的豐富多樣的特點相違背，因而造成類內(nèi)方差大、類間混淆度高的情況。

現(xiàn)有圖像描述技術(shù)不適用于處理非結(jié)構(gòu)化人臉圖像。為實現(xiàn)細粒度和可解釋的語言生成，現(xiàn)有圖像描述技術(shù)需要基于檢測技術(shù)實現(xiàn)對圖像的結(jié)構(gòu)化，然后進行實例間的關(guān)系推理并最終生成語言。而對于實際場景中大量的非結(jié)構(gòu)化人臉圖像，缺乏相應(yīng)的檢測技術(shù)抽象其各部件特征，為圖像描述技術(shù)在人臉情緒領(lǐng)域的應(yīng)用帶來了限制。現(xiàn)有的圖像描述技術(shù)具有可解釋性不強、描述性能有限等局限。

發(fā)明內(nèi)容

本發(fā)明提供一種人臉圖像的情緒確定方法、裝置、電子設(shè)備及存儲介質(zhì)，用以解決現(xiàn)有技術(shù)中對非結(jié)構(gòu)化的人臉圖像的情緒識別中解釋性不強，描述性能有限的缺陷，提升所生成的情緒描述語句的質(zhì)量。

本發(fā)明提供一種人臉圖像的情緒確定方法，包括：

對待分析人臉圖像進行卷積計算，提取所述待分析人臉圖像的全圖特征；

對所述全圖特征進行解耦，得到多個人臉部件的特征；

基于動態(tài)融合依據(jù)狀態(tài)，動態(tài)融合所述多個人臉部件的特征，形成高層次語義特征；

基于所述高層次語義特征和語言生成模型，以逐詞預(yù)測的方式生成情緒描述語句。

根據(jù)本發(fā)明提供的人臉圖像的情緒確定方法，所述基于動態(tài)融合依據(jù)狀態(tài)，動態(tài)融合所述多個人臉部件的特征，形成高層次語義特征，包括：

初始化動態(tài)融合依據(jù)狀態(tài)；

初始化所述情緒描述語句的首詞為空標記；

基于當前動態(tài)融合依據(jù)狀態(tài)，采用軟注意力機制融合所述多個人臉部件的特征，得到第t個高層次語義特征；

所述基于所述高層次語義特征和語言生成模型，以逐詞預(yù)測的方式生成情緒描述語句，包括：

將所述第t個高層次語義特征輸入至語言生成模型，生成第t個詞，并更新動態(tài)融合依據(jù)狀態(tài)，對t執(zhí)行加1操作，開始下一個詞的生成，直至生成所述情緒描述語句所包含的所有詞；

將所述語言生成模型生成的所有詞按序拼接，得到所述情緒描述語句；

其中，t大于等于1且小于等于所述情緒描述語句所包含的詞的總數(shù)。

根據(jù)本發(fā)明提供的人臉圖像的情緒確定方法，所述對所述全圖特征進行解耦，得到多個人臉部件的特征包括：

對所述全圖特征進行卷積變換，得到包含多個人臉部件遮罩的第一遮罩組；

對所述全圖特征進行降維操作，得到降維后的特征圖；