[發(fā)明專利]人臉圖像的情緒確定方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110580830.6
• 申請(qǐng)日: 2021-05-26
• 公開（公告）號(hào): CN113326762A
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計(jì)）人: 石家赫;李亞利;王生進(jìn)
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08;G06F17/15;G06F40/284;G06F40/30
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 楊明月

1.一種人臉圖像的情緒確定方法，其特征在于，包括：

對(duì)待分析人臉圖像進(jìn)行卷積計(jì)算，提取所述待分析人臉圖像的全圖特征；

對(duì)所述全圖特征進(jìn)行解耦，得到多個(gè)人臉部件的特征；

基于動(dòng)態(tài)融合依據(jù)狀態(tài)，動(dòng)態(tài)融合所述多個(gè)人臉部件的特征，形成高層次語義特征；

基于所述高層次語義特征和語言生成模型，以逐詞預(yù)測的方式生成情緒描述語句。

2.根據(jù)權(quán)利要求1所述的人臉圖像的情緒確定方法，其特征在于，所述基于動(dòng)態(tài)融合依據(jù)狀態(tài)，動(dòng)態(tài)融合所述多個(gè)人臉部件的特征，形成高層次語義特征，包括：

初始化動(dòng)態(tài)融合依據(jù)狀態(tài)；

初始化所述情緒描述語句的首詞為空標(biāo)記；

基于當(dāng)前動(dòng)態(tài)融合依據(jù)狀態(tài)，采用軟注意力機(jī)制融合所述多個(gè)人臉部件的特征，得到第t個(gè)高層次語義特征；

所述基于所述高層次語義特征和語言生成模型，以逐詞預(yù)測的方式生成情緒描述語句，包括：

將所述第t個(gè)高層次語義特征輸入至語言生成模型，生成第t個(gè)詞，并更新動(dòng)態(tài)融合依據(jù)狀態(tài)，對(duì)t執(zhí)行加1操作，開始下一個(gè)詞的生成，直至生成所述情緒描述語句所包含的所有詞；

將所述語言生成模型生成的所有詞按序拼接，得到所述情緒描述語句；

其中，t大于等于1且小于等于所述情緒描述語句所包含的詞的總數(shù)。

3.根據(jù)權(quán)利要求1所述的人臉圖像的情緒確定方法，其特征在于，所述對(duì)所述全圖特征進(jìn)行解耦，得到多個(gè)人臉部件的特征包括：

對(duì)所述全圖特征進(jìn)行卷積變換，得到包含多個(gè)人臉部件遮罩的第一遮罩組；

對(duì)所述全圖特征進(jìn)行降維操作，得到降維后的特征圖；

將所述第一遮罩組內(nèi)的多個(gè)人臉部件遮罩的通道維度以重復(fù)的方式進(jìn)行擴(kuò)展，對(duì)應(yīng)得到多個(gè)擴(kuò)展后的人臉部件遮罩，其中所述擴(kuò)展后的人臉部件遮罩的通道維度與所述降維后的特征圖的通道維度相同；

將所述多個(gè)擴(kuò)展后的人臉部件遮罩作用于所述降維后的特征圖，對(duì)應(yīng)得到多個(gè)針對(duì)不同人臉部件進(jìn)行響應(yīng)的語義特征圖；

將所述多個(gè)語義特征圖展平為向量，并經(jīng)過特征變換，得到所述待分析人臉圖像的多個(gè)人臉部件的特征。

4.根據(jù)權(quán)利要求1所述的人臉圖像的情緒確定方法，其特征在于，還包括：

根據(jù)人臉圖像樣本、人臉圖像樣本對(duì)應(yīng)的監(jiān)督標(biāo)注句子和預(yù)定義的優(yōu)化目標(biāo)函數(shù)對(duì)目標(biāo)模型進(jìn)行訓(xùn)練，保存訓(xùn)練完成時(shí)的所述目標(biāo)模型的參數(shù)，得到所述語言生成模型。

5.根據(jù)權(quán)利要求4所述的人臉圖像的情緒確定方法，其特征在于，所述根據(jù)訓(xùn)練集圖片、訓(xùn)練集圖片對(duì)應(yīng)的監(jiān)督標(biāo)注句子和預(yù)定義的優(yōu)化目標(biāo)函數(shù)對(duì)目標(biāo)模型進(jìn)行訓(xùn)練，保存訓(xùn)練完成時(shí)的所述目標(biāo)模型的參數(shù)，得到所述語言生成模型包括：

獲取人臉圖像樣本及所述人臉圖像樣本對(duì)應(yīng)的監(jiān)督標(biāo)注句子；

對(duì)所述人臉圖像樣本進(jìn)行卷積計(jì)算，提取所述人臉圖像樣本的全圖特征；

對(duì)所述全圖特征進(jìn)行卷積變換，得到包含多個(gè)人臉部件遮罩的第二遮罩組；

計(jì)算所述第二遮罩組內(nèi)的多個(gè)人臉部件遮罩間的相似度得分；

基于目標(biāo)模型，預(yù)測生成第t個(gè)詞的后驗(yàn)分布；

基于語義相關(guān)度計(jì)算所述監(jiān)督標(biāo)注句子的第t個(gè)詞的目標(biāo)分布；

根據(jù)所述第t個(gè)詞的后驗(yàn)分布和所述第t個(gè)詞的目標(biāo)分布，計(jì)算所述第t個(gè)詞的分布差異得分；

對(duì)t執(zhí)行加一操作，開始執(zhí)行下一個(gè)詞的分布差異得分計(jì)算過程，直至得到所有詞的分布差異得分；

根據(jù)所有詞的分布差異得分、所述相似度得分和第二預(yù)定義超參數(shù)，得到優(yōu)化目標(biāo)；

調(diào)整所述目標(biāo)模型中的參數(shù)，使所述優(yōu)化目標(biāo)的值最小化；

保存調(diào)整后的參數(shù)，得到所述語言生成模型。

6.根據(jù)權(quán)利要求5所述的人臉圖像的情緒確定方法，其特征在于，所述基于語義相關(guān)度計(jì)算所述監(jiān)督標(biāo)注句子的第t個(gè)詞的目標(biāo)分布，包括：

對(duì)于所述監(jiān)督標(biāo)注句子的第t個(gè)詞，計(jì)算所述第t個(gè)詞與預(yù)存的候選詞表中所有詞的語義相關(guān)度，并對(duì)所述語義相關(guān)度進(jìn)行歸一化得到所述第t個(gè)詞對(duì)應(yīng)的相似度分布；

基于所述第t個(gè)詞對(duì)應(yīng)的相似度分布、所述第t個(gè)詞對(duì)應(yīng)的沖激分布和第一預(yù)定義超參數(shù)，計(jì)算所述第t個(gè)詞的目標(biāo)分布。