[發(fā)明專利]情緒類型識(shí)別方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110871598.1
• 申請(qǐng)日: 2021-07-30
• 公開(kāi)（公告）號(hào): CN113569763A
• 公開(kāi)（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 孫鳳英
• 申請(qǐng)（專利權(quán)）人: 天窗智庫(kù)文化傳播（蘇州）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 蘇州瞪羚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32438
• 代理人: 張宇

本申請(qǐng)?zhí)峁┮环N情緒類型識(shí)別方法、裝置及電子設(shè)備，所述方法包括：獲取監(jiān)控視頻圖像；對(duì)監(jiān)控視頻圖像進(jìn)行特征提取，得到目標(biāo)人員的表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息，行動(dòng)關(guān)鍵信息用于指示目標(biāo)人員的類型；在表情關(guān)鍵信息中識(shí)別出與行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量，并在行動(dòng)關(guān)鍵信息中識(shí)別出與表情關(guān)鍵信息關(guān)聯(lián)的特征，得到第二關(guān)聯(lián)特征向量；根據(jù)第一關(guān)聯(lián)特征向量和第二關(guān)聯(lián)特征向量，對(duì)表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息進(jìn)行調(diào)整；根據(jù)調(diào)整后表情關(guān)鍵信息和調(diào)整后行動(dòng)關(guān)鍵信息，確定目標(biāo)人員的情緒分類信息。如此可以實(shí)現(xiàn)更準(zhǔn)確的情緒分類識(shí)別。

技術(shù)領(lǐng)域

本申請(qǐng)涉及大數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種情緒類型識(shí)別方法、裝置及電子設(shè)備。

背景技術(shù)

從視頻圖像中識(shí)別出人員的情緒對(duì)人員監(jiān)控十分重要，傳統(tǒng)的情緒識(shí)別方案中，通常僅通過(guò)對(duì)人臉關(guān)鍵信息進(jìn)行識(shí)別，以確定人員情緒類型，但是這種分類方式較為粗放，識(shí)別準(zhǔn)確度低。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)中的上述不足，本申請(qǐng)的目的在于提供一種情緒類型識(shí)別方法，包括：

獲取監(jiān)控視頻圖像，所述監(jiān)控視頻圖像包括至少一個(gè)目標(biāo)人員；

對(duì)所述監(jiān)控視頻圖像進(jìn)行特征提取，得到所述目標(biāo)人員的表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息，所述行動(dòng)關(guān)鍵信息用于指示所述目標(biāo)人員的類型；

在所述表情關(guān)鍵信息中識(shí)別出與所述行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量，并在所述行動(dòng)關(guān)鍵信息中識(shí)別出與所述表情關(guān)鍵信息關(guān)聯(lián)的特征，得到第二關(guān)聯(lián)特征向量；

根據(jù)所述第一關(guān)聯(lián)特征向量和第二關(guān)聯(lián)特征向量，對(duì)所述表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息進(jìn)行調(diào)整；

根據(jù)調(diào)整后表情關(guān)鍵信息和調(diào)整后行動(dòng)關(guān)鍵信息，確定所述目標(biāo)人員的情緒分類信息。

可選地，所述在所述表情關(guān)鍵信息中識(shí)別出與所述行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量，并在所述行動(dòng)關(guān)鍵信息中識(shí)別出與所述表情關(guān)鍵信息關(guān)聯(lián)的特征，得到第二關(guān)聯(lián)特征向量，包括：

獲取所述表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息在所述監(jiān)控視頻圖像中的位置關(guān)鍵點(diǎn)信息，以得到所述表情關(guān)鍵信息對(duì)應(yīng)的第一候選框位置特征和所述行動(dòng)關(guān)鍵信息對(duì)應(yīng)的第二候選框位置特征；

根據(jù)所述第一候選框位置特征，在所述表情關(guān)鍵信息中識(shí)別出與所述行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量；

根據(jù)所述第二候選框位置特征，在所述行動(dòng)關(guān)鍵信息中識(shí)別出與所述表情關(guān)鍵信息關(guān)聯(lián)的特征，得到第二關(guān)聯(lián)特征向量。

可選地，所述獲取所述表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息在所述監(jiān)控視頻圖像中的位置關(guān)鍵點(diǎn)信息，以得到所述表情關(guān)鍵信息對(duì)應(yīng)的第一候選框位置特征和所述行動(dòng)關(guān)鍵信息對(duì)應(yīng)的第二候選框位置特征，包括：

獲取所述表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息在所述監(jiān)控視頻圖像中的位置關(guān)鍵點(diǎn)信息，得到所述表情關(guān)鍵信息對(duì)應(yīng)的第一位置關(guān)鍵點(diǎn)信息和所述行動(dòng)關(guān)鍵信息對(duì)應(yīng)的第二位置關(guān)鍵點(diǎn)信息；

根據(jù)所述第一位置關(guān)鍵點(diǎn)信息，對(duì)所述監(jiān)控視頻圖像中的數(shù)據(jù)進(jìn)行特征提取，得到所述表情關(guān)鍵信息對(duì)應(yīng)的第一候選框位置特征；

根據(jù)所述第二位置關(guān)鍵點(diǎn)信息，對(duì)所述監(jiān)控視頻圖像中的數(shù)據(jù)進(jìn)行特征提取，得到所述行動(dòng)關(guān)鍵信息對(duì)應(yīng)的第二候選框位置特征。

可選地，所述根據(jù)所述第一候選框位置特征，在所述表情關(guān)鍵信息中識(shí)別出與所述行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量，包括：

在所述表情關(guān)鍵信息中提取出用于特征關(guān)聯(lián)的表情關(guān)鍵信息，得到第一映射特征向量和第一特征值向量；

在所述行動(dòng)關(guān)鍵信息中提取出用于特征關(guān)聯(lián)的行動(dòng)關(guān)鍵信息，得到第一索引特征向量；

獲取所述表情關(guān)鍵信息的特征處理通道數(shù)量；

將所述第一映射特征向量與第一索引特征向量進(jìn)行融合，得到第一中間特征向量；

計(jì)算所述第一中間特征向量與所述特征處理通道數(shù)量的比值，得到所述第一關(guān)聯(lián)特征向量；