[發(fā)明專(zhuān)利]情緒分類(lèi)方法和情緒分類(lèi)模型的訓(xùn)練方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202111111427.5
• 申請(qǐng)日: 2021-09-22
• 公開(kāi)（公告）號(hào): CN113827240A
• 公開(kāi)（公告）日: 2021-12-24
• 發(fā)明（設(shè)計(jì)）人: 馮博豪;劉雨鑫
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): A61B5/16
• 分類(lèi)號(hào): A61B5/16
• 代理公司: 中科專(zhuān)利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 呂朝蕙

1.一種情緒分類(lèi)方法，包括：

確定視頻幀序列中第一目標(biāo)對(duì)象的第一生理信號(hào)；

基于所述第一生理信號(hào)，確定所述視頻幀序列中的第一目標(biāo)視頻幀，其中，所述第一目標(biāo)視頻幀中所述第一目標(biāo)對(duì)象的第一生理信號(hào)的變化滿(mǎn)足預(yù)定變化條件；

基于所述第一目標(biāo)視頻幀，確定針對(duì)所述第一目標(biāo)對(duì)象的第一情緒分類(lèi)信息；以及

基于所述第一情緒分類(lèi)信息，確定所述第一目標(biāo)對(duì)象的情緒類(lèi)別。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

基于所述第一生理信號(hào)，確定針對(duì)所述第一目標(biāo)對(duì)象的第二情緒分類(lèi)信息；

其中，基于所述第一情緒分類(lèi)信息，確定所述第一目標(biāo)對(duì)象的情緒類(lèi)別包括：基于所述第一情緒分類(lèi)信息和所述第二情緒分類(lèi)信息，確定所述第一目標(biāo)對(duì)象的情緒類(lèi)別。

3.根據(jù)權(quán)利要求1或2所述的方法，還包括：

針對(duì)視頻數(shù)據(jù)中的每個(gè)視頻幀，確定所述每個(gè)視頻幀中所述第一目標(biāo)對(duì)象所在的區(qū)域，作為第一目標(biāo)區(qū)域；

從所述每個(gè)視頻幀中截取所述第一目標(biāo)區(qū)域的圖像，得到針對(duì)所述第一目標(biāo)對(duì)象的視頻幀；以及

將針對(duì)所述第一目標(biāo)對(duì)象的視頻幀按時(shí)序排列，得到所述視頻幀序列。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述確定視頻幀序列中第一目標(biāo)對(duì)象的第一生理信號(hào)包括：

針對(duì)所述視頻幀序列中的每一幀，確定所述每一幀中所述第一目標(biāo)對(duì)象的目標(biāo)部位所在的區(qū)域，作為所述每一幀的第二目標(biāo)區(qū)域；以及

基于所述第二目標(biāo)區(qū)域，確定所述視頻幀序列中第一目標(biāo)對(duì)象的第一生理信號(hào)。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述基于所述第二目標(biāo)區(qū)域，確定所述視頻幀序列中第一目標(biāo)對(duì)象的第一生理信號(hào)包括：

基于所述視頻幀序列中視頻幀的排列順序，以預(yù)定幀數(shù)為窗口長(zhǎng)度劃分所述視頻幀序列；

對(duì)于劃分得到的每個(gè)窗口內(nèi)的視頻幀組，對(duì)所述視頻幀組中各視頻幀的第二目標(biāo)區(qū)域進(jìn)行影像放大處理，得到一個(gè)處理后視頻幀組；以及

基于得到的至少一個(gè)處理后視頻幀組，確定所述第一目標(biāo)對(duì)象的目標(biāo)生理指標(biāo)隨時(shí)間變化的信息，作為所述第一生理信號(hào)。

6.根據(jù)權(quán)利要求2所述的方法，其中，所述基于所述第一生理信號(hào)，確定針對(duì)所述第一目標(biāo)對(duì)象的第二情緒分類(lèi)信息包括：

提取所述第一生理信號(hào)的特征數(shù)據(jù)；以及

將所述第一生理信號(hào)中各個(gè)時(shí)間點(diǎn)的目標(biāo)生理指標(biāo)與所述特征數(shù)據(jù)拼接后輸入分類(lèi)網(wǎng)絡(luò)，得到針對(duì)所述第一目標(biāo)對(duì)象的第二情緒分類(lèi)信息，

其中，所述第一生理信號(hào)包括所述第一目標(biāo)對(duì)象的目標(biāo)生理指標(biāo)隨時(shí)間變化的信息。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述第一目標(biāo)視頻幀，確定針對(duì)所述第一目標(biāo)對(duì)象的第一情緒分類(lèi)信息包括：

將所述第一目標(biāo)視頻幀輸入微表情識(shí)別模型，得到針對(duì)所述第一目標(biāo)對(duì)象的第一情緒分類(lèi)信息。

8.根據(jù)權(quán)利要求2所述的方法，其中，所述基于所述第一情緒分類(lèi)信息和所述第二情緒分類(lèi)信息，確定所述第一目標(biāo)對(duì)象的情緒類(lèi)別包括：

基于預(yù)定權(quán)重，確定所述第一情緒分類(lèi)信息和所述第二情緒分類(lèi)信息的加權(quán)和；以及

基于所述加權(quán)和，確定所述第一目標(biāo)對(duì)象的情緒類(lèi)別。

9.一種情緒分類(lèi)模型的訓(xùn)練方法，其中，所述情緒分類(lèi)模型包括信號(hào)提取網(wǎng)絡(luò)和第一情緒識(shí)別網(wǎng)絡(luò)；所述方法包括：

采用所述信號(hào)提取網(wǎng)絡(luò)得到視頻幀序列樣本中第二目標(biāo)對(duì)象的第二生理信號(hào)；其中，所述視頻幀序列樣本包括所述第二目標(biāo)對(duì)象的實(shí)際情緒類(lèi)別；

基于所述第二生理信號(hào)，確定所述視頻幀序列中的第二目標(biāo)視頻幀，其中，所述第二目標(biāo)視頻幀中所述第二目標(biāo)對(duì)象的第二生理信號(hào)的變化滿(mǎn)足預(yù)定變化條件；

基于所述第二目標(biāo)視頻幀，采用所述第一情緒識(shí)別網(wǎng)絡(luò)確定針對(duì)所述第二目標(biāo)對(duì)象的第三情緒分類(lèi)信息；

基于所述第三情緒分類(lèi)信息，確定所述第二目標(biāo)對(duì)象的預(yù)測(cè)情緒類(lèi)別；以及

基于所述預(yù)測(cè)情緒類(lèi)別和所述實(shí)際情緒類(lèi)別，對(duì)所述情緒分類(lèi)模型進(jìn)行訓(xùn)練。