[發(fā)明專利]一種基于視頻的情感識(shí)別方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010324104.3
• 申請(qǐng)日: 2020-04-22
• 公開（公告）號(hào): CN111507421A
• 公開（公告）日: 2020-08-07
• 發(fā)明（設(shè)計(jì)）人: 徐寶函
• 申請(qǐng)（專利權(quán)）人: 上海極鏈網(wǎng)絡(luò)科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開了一種基于視頻的情感識(shí)別方法及裝置。該方法包括：確定待識(shí)別視頻的初始特征數(shù)據(jù)；將所述初始特征數(shù)據(jù)輸入到預(yù)先訓(xùn)練完成的情感識(shí)別模型中，得到與所述待識(shí)別視頻對(duì)應(yīng)的情感識(shí)別結(jié)果；其中，所述情感識(shí)別模型包括物體關(guān)系識(shí)別模型、特征提取模型和情感分類模型，其中，所述物體關(guān)系識(shí)別模型用于識(shí)別所述待識(shí)別視頻中的物體關(guān)系，所述特征提取模型用于提取所述初始特征數(shù)據(jù)的至少一種視頻特征，所述情感分類模型用于基于所述物體關(guān)系和所述視頻特征確定所述待識(shí)別視頻的情感識(shí)別結(jié)果。本發(fā)明實(shí)施例通過(guò)在情感識(shí)別模型中加入物體關(guān)系識(shí)別模型，解決了視頻情感識(shí)別效果不佳的問(wèn)題，為視頻情感識(shí)別提供了更全面的識(shí)別框架。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及情感識(shí)別技術(shù)領(lǐng)域，尤其涉及一種基于視頻的情感識(shí)別方法及裝置。

背景技術(shù)

隨著移動(dòng)設(shè)備和互聯(lián)網(wǎng)的快速發(fā)展，視頻內(nèi)容理解成為了日益增長(zhǎng)的需求。許多研究者針對(duì)視頻動(dòng)作識(shí)別、檢測(cè)等任務(wù)進(jìn)行了大量的研究。然而，視頻內(nèi)情感的表達(dá)是視頻理解中重要的環(huán)節(jié)，直觀來(lái)說(shuō)，則是將視頻根據(jù)內(nèi)容分為不同的情感類別，如開心、吃驚或悲傷等。視頻的情感識(shí)別在實(shí)際生產(chǎn)中有很多應(yīng)用，例如，廣告推薦系統(tǒng)可以通過(guò)匹配廣告與視頻中的情感來(lái)避免推薦不恰當(dāng)?shù)膹V告。

早期針對(duì)情感識(shí)別的研究集中在文本情感識(shí)別和圖像情感識(shí)別，研究者通過(guò)文本、顏色、紋理、形狀等底層特征幫助情感識(shí)別。之后，研究者針對(duì)視頻情感的研究大多集中在電影領(lǐng)域，類似的底層特征在電影視頻的情感分析中也起到了很大的作用。近年來(lái)，神經(jīng)網(wǎng)絡(luò)在越來(lái)越多的計(jì)算機(jī)視覺領(lǐng)域取得了較好的效果，如圖像分類、物體檢測(cè)等。一些研究者也將神經(jīng)網(wǎng)絡(luò)運(yùn)用到了情感識(shí)別中，實(shí)現(xiàn)了相比底層特征更好的識(shí)別效果。

然而，由于手機(jī)、相機(jī)等視頻捕捉設(shè)備的發(fā)展，視頻分享網(wǎng)站上越來(lái)越多的出現(xiàn)了用戶生成視頻。相比電影視頻，用戶生成視頻沒有經(jīng)過(guò)專業(yè)編輯，內(nèi)容更多樣，但視頻質(zhì)量往往較差。因此，僅通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的視覺信息對(duì)于高維的情感識(shí)別仍是不夠的，分類識(shí)別效果往往不佳。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種基于視頻的情感識(shí)別方法及裝置，為視頻情感識(shí)別提供了更全面的識(shí)別框架，以提高視頻情感識(shí)別的準(zhǔn)確率。

第一方面，本發(fā)明實(shí)施例提供了一種基于視頻的情感識(shí)別方法，該方法包括：

確定待識(shí)別視頻的初始特征數(shù)據(jù)；

將所述初始特征數(shù)據(jù)輸入到預(yù)先訓(xùn)練完成的情感識(shí)別模型中，得到與所述待識(shí)別視頻對(duì)應(yīng)的情感識(shí)別結(jié)果；

其中，所述情感識(shí)別模型包括物體關(guān)系識(shí)別模型、特征提取模型和情感分類模型，其中，所述物體關(guān)系識(shí)別模型用于識(shí)別所述待識(shí)別視頻中的物體關(guān)系，所述特征提取模型用于提取所述初始特征數(shù)據(jù)的至少一種視頻特征，所述情感分類模型用于基于所述物體關(guān)系和所述視頻特征確定所述待識(shí)別視頻的情感識(shí)別結(jié)果。

第二方面，本發(fā)明實(shí)施例還提供了一種基于視頻的情感識(shí)別裝置，該裝置包括：

初始特征數(shù)據(jù)確定模塊，用于確定待識(shí)別視頻初始特征數(shù)據(jù)；

情感識(shí)別結(jié)果輸出模塊，用于將所述初始特征數(shù)據(jù)輸入到預(yù)先訓(xùn)練完成的情感識(shí)別模型中，得到與所述待識(shí)別視頻對(duì)應(yīng)的情感識(shí)別結(jié)果；

其中，所述情感識(shí)別模型包括物體關(guān)系識(shí)別模型、特征提取模型和情感分類模型，其中，所述物體關(guān)系識(shí)別模型用于識(shí)別所述待識(shí)別視頻中的物體關(guān)系，所述特征提取模型用于提取所述初始特征數(shù)據(jù)的至少一種視頻特征，所述情感分類模型用于基于所述物體關(guān)系和所述視頻特征確定所述待識(shí)別視頻的情感識(shí)別結(jié)果。

第三方面，本發(fā)明實(shí)施例還提供了一種設(shè)備，該設(shè)備包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序；