[發(fā)明專利]情緒類型識(shí)別方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110871598.1
• 申請(qǐng)日: 2021-07-30
• 公開（公告）號(hào): CN113569763A
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 孫鳳英
• 申請(qǐng)（專利權(quán)）人: 天窗智庫文化傳播（蘇州）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 蘇州瞪羚知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32438
• 代理人: 張宇

1.一種情緒類型識(shí)別方法，其特征在于，包括：

獲取監(jiān)控視頻圖像，所述監(jiān)控視頻圖像包括至少一個(gè)目標(biāo)人員；

對(duì)所述監(jiān)控視頻圖像進(jìn)行特征提取，得到所述目標(biāo)人員的表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息，所述行動(dòng)關(guān)鍵信息用于指示所述目標(biāo)人員的類型；

在所述表情關(guān)鍵信息中識(shí)別出與所述行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量，并在所述行動(dòng)關(guān)鍵信息中識(shí)別出與所述表情關(guān)鍵信息關(guān)聯(lián)的特征，得到第二關(guān)聯(lián)特征向量；

根據(jù)所述第一關(guān)聯(lián)特征向量和第二關(guān)聯(lián)特征向量，對(duì)所述表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息進(jìn)行調(diào)整；

根據(jù)調(diào)整后表情關(guān)鍵信息和調(diào)整后行動(dòng)關(guān)鍵信息，確定所述目標(biāo)人員的情緒分類信息。

2.根據(jù)權(quán)利要求1所述的情緒類型識(shí)別方法，其特征在于，所述在所述表情關(guān)鍵信息中識(shí)別出與所述行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量，并在所述行動(dòng)關(guān)鍵信息中識(shí)別出與所述表情關(guān)鍵信息關(guān)聯(lián)的特征，得到第二關(guān)聯(lián)特征向量，包括：

獲取所述表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息在所述監(jiān)控視頻圖像中的位置關(guān)鍵點(diǎn)信息，以得到所述表情關(guān)鍵信息對(duì)應(yīng)的第一候選框位置特征和所述行動(dòng)關(guān)鍵信息對(duì)應(yīng)的第二候選框位置特征；

根據(jù)所述第一候選框位置特征，在所述表情關(guān)鍵信息中識(shí)別出與所述行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量；

根據(jù)所述第二候選框位置特征，在所述行動(dòng)關(guān)鍵信息中識(shí)別出與所述表情關(guān)鍵信息關(guān)聯(lián)的特征，得到第二關(guān)聯(lián)特征向量。

3.根據(jù)權(quán)利要求2所述的情緒類型識(shí)別方法，其特征在于，所述獲取所述表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息在所述監(jiān)控視頻圖像中的位置關(guān)鍵點(diǎn)信息，以得到所述表情關(guān)鍵信息對(duì)應(yīng)的第一候選框位置特征和所述行動(dòng)關(guān)鍵信息對(duì)應(yīng)的第二候選框位置特征，包括：

獲取所述表情關(guān)鍵信息和行動(dòng)關(guān)鍵信息在所述監(jiān)控視頻圖像中的位置關(guān)鍵點(diǎn)信息，得到所述表情關(guān)鍵信息對(duì)應(yīng)的第一位置關(guān)鍵點(diǎn)信息和所述行動(dòng)關(guān)鍵信息對(duì)應(yīng)的第二位置關(guān)鍵點(diǎn)信息；

根據(jù)所述第一位置關(guān)鍵點(diǎn)信息，對(duì)所述監(jiān)控視頻圖像中的數(shù)據(jù)進(jìn)行特征提取，得到所述表情關(guān)鍵信息對(duì)應(yīng)的第一候選框位置特征；

根據(jù)所述第二位置關(guān)鍵點(diǎn)信息，對(duì)所述監(jiān)控視頻圖像中的數(shù)據(jù)進(jìn)行特征提取，得到所述行動(dòng)關(guān)鍵信息對(duì)應(yīng)的第二候選框位置特征。

4.根據(jù)權(quán)利要求2所述的情緒類型識(shí)別方法，其特征在于，所述根據(jù)所述第一候選框位置特征，在所述表情關(guān)鍵信息中識(shí)別出與所述行動(dòng)關(guān)鍵信息關(guān)聯(lián)的特征，得到第一關(guān)聯(lián)特征向量，包括：

在所述表情關(guān)鍵信息中提取出用于特征關(guān)聯(lián)的表情關(guān)鍵信息，得到第一映射特征向量和第一特征值向量；

在所述行動(dòng)關(guān)鍵信息中提取出用于特征關(guān)聯(lián)的行動(dòng)關(guān)鍵信息，得到第一索引特征向量；

獲取所述表情關(guān)鍵信息的特征處理通道數(shù)量；

將所述第一映射特征向量與第一索引特征向量進(jìn)行融合，得到第一中間特征向量；

計(jì)算所述第一中間特征向量與所述特征處理通道數(shù)量的比值，得到所述第一關(guān)聯(lián)特征向量；

將所述第一關(guān)聯(lián)特征向量與所述第一候選框位置特征進(jìn)行融合，得到第二中間特征向量；

對(duì)所述第二中間特征向量進(jìn)行歸一化處理，得到第一權(quán)重，所述第一權(quán)重用于指示所述表情關(guān)鍵信息中的特征與所述行動(dòng)關(guān)鍵信息的關(guān)聯(lián)關(guān)系；

根據(jù)所述第一權(quán)重，對(duì)所述第一特征值向量進(jìn)行加權(quán)，得到所述第一關(guān)聯(lián)特征向量。

5.根據(jù)權(quán)利要求2所述的情緒類型識(shí)別方法，其特征在于，所述根據(jù)所述第二候選框位置特征，在所述行動(dòng)關(guān)鍵信息中識(shí)別出與所述表情關(guān)鍵信息關(guān)聯(lián)的特征，得到第二關(guān)聯(lián)特征向量，包括：

在所述行動(dòng)關(guān)鍵信息中提取出用于特征關(guān)聯(lián)的行動(dòng)關(guān)鍵信息，得到第二映射特征向量和第二特征值向量；

在所述表情關(guān)鍵信息中提取出用于特征關(guān)聯(lián)的表情關(guān)鍵信息，得到第二索引特征向量；

將所述第二映射特征向量與第二索引特征向量進(jìn)行特征關(guān)聯(lián)，得到第二關(guān)聯(lián)特征向量，并將所述第二關(guān)聯(lián)特征向量、第二候選框位置特征和第二特征值向量進(jìn)行融合，得到第二關(guān)聯(lián)特征向量。