[發(fā)明專利]情緒識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811184355.5
• 申請(qǐng)日: 2018-10-11
• 公開(kāi)（公告）號(hào): CN109472207B
• 公開(kāi)（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 查月閱;陶進(jìn)芳
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F18/25
• 分類(lèi)號(hào): G06F18/25;G06V20/40;G06V10/764;G06F16/35;G06F40/30;G06F40/284;G10L25/63
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 譚果林

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，提供了一種情緒識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，所述情緒識(shí)別方法包括：對(duì)音頻數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到音頻文字信息和語(yǔ)速信息；從視頻圖像數(shù)據(jù)中提取切分圖像數(shù)據(jù)；按照預(yù)設(shè)的選取方式，在每個(gè)切分圖像數(shù)據(jù)中選取一幀圖像進(jìn)行圖像預(yù)處理，得到二值化圖像；分別對(duì)每個(gè)音頻文字信息和每個(gè)語(yǔ)速信息進(jìn)行情緒分析，確定每個(gè)音頻文字信息對(duì)應(yīng)的情緒名詞；對(duì)每個(gè)二值化圖像進(jìn)行情緒識(shí)別，確定每個(gè)二值化圖像對(duì)應(yīng)的情緒標(biāo)簽；將情緒名詞和情緒標(biāo)簽進(jìn)行匯總，統(tǒng)計(jì)屬于同一情緒類(lèi)型的情緒名詞和情緒標(biāo)簽的數(shù)量，并根據(jù)統(tǒng)計(jì)得到的數(shù)據(jù)確定源文件對(duì)應(yīng)的情緒識(shí)別結(jié)果。本發(fā)明能夠提高情緒識(shí)別準(zhǔn)確度。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種情緒識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)與人工智能，以及人類(lèi)行為學(xué)研究的發(fā)展，人們對(duì)人類(lèi)情緒表達(dá)的研究越發(fā)重視。傳統(tǒng)技術(shù)進(jìn)行人物情緒識(shí)別，一是通過(guò)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，并使用訓(xùn)練好的模型實(shí)現(xiàn)對(duì)圖像中的人臉情緒的識(shí)別，但搭建模型的運(yùn)算量大，計(jì)算周期長(zhǎng)，成本高，從而導(dǎo)致識(shí)別效率不高，且僅能進(jìn)行圖像的人物情緒識(shí)別；或是通過(guò)將視頻數(shù)據(jù)或音頻數(shù)據(jù)直接翻譯成文字?jǐn)?shù)據(jù)，并對(duì)文字?jǐn)?shù)據(jù)進(jìn)行特征提取，通過(guò)分析特征實(shí)現(xiàn)情緒識(shí)別，而翻譯的過(guò)程中易出現(xiàn)誤差，易造成特征提取不準(zhǔn)，從而導(dǎo)致人物情緒識(shí)別準(zhǔn)確度降低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種情緒識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以解決傳統(tǒng)情緒識(shí)別技術(shù)存在的人物情緒識(shí)別準(zhǔn)確度不高的問(wèn)題。

一種情緒識(shí)別方法，包括：

獲取源文件，其中，所述源文件包括音頻數(shù)據(jù)，以及與所述音頻數(shù)據(jù)相對(duì)應(yīng)的視頻圖像數(shù)據(jù)；

對(duì)所述音頻數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到N個(gè)音頻文字信息和每個(gè)所述音頻文字信息對(duì)應(yīng)的語(yǔ)速信息，其中，N為大于等于1的正整數(shù)，每個(gè)所述音頻文字信息對(duì)應(yīng)一個(gè)文字時(shí)間段；

從所述視頻圖像數(shù)據(jù)中提取每個(gè)所述文字時(shí)間段對(duì)應(yīng)的切分圖像數(shù)據(jù)；

按照預(yù)設(shè)的選取方式，在每個(gè)所述切分圖像數(shù)據(jù)中選取一幀圖像進(jìn)行圖像預(yù)處理，得到N個(gè)二值化圖像；

分別對(duì)每個(gè)所述音頻文字信息和每個(gè)所述音頻文字信息對(duì)應(yīng)的語(yǔ)速信息進(jìn)行情緒分析，并根據(jù)所述音頻文字信息對(duì)應(yīng)的情緒分析結(jié)果和所述語(yǔ)速信息對(duì)應(yīng)的情緒分析結(jié)果的合集，確定每個(gè)所述音頻文字信息對(duì)應(yīng)的情緒名詞，得到N個(gè)所述情緒名詞；

對(duì)每個(gè)所述二值化圖像進(jìn)行情緒識(shí)別，確定每個(gè)所述二值化圖像對(duì)應(yīng)的情緒標(biāo)簽，得到N個(gè)所述情緒標(biāo)簽；

將N個(gè)所述情緒名詞和N個(gè)所述情緒標(biāo)簽進(jìn)行匯總，按照預(yù)設(shè)的統(tǒng)計(jì)方式，統(tǒng)計(jì)屬于同一情緒類(lèi)型的情緒名詞和情緒標(biāo)簽的數(shù)量，并根據(jù)統(tǒng)計(jì)得到的數(shù)據(jù)確定所述源文件對(duì)應(yīng)的情緒類(lèi)型和所述情緒類(lèi)型的分?jǐn)?shù)，并將確定的所述情緒類(lèi)型和所述分?jǐn)?shù)作為所述源文件對(duì)應(yīng)的情緒識(shí)別結(jié)果。

一種情緒識(shí)別裝置，包括：

數(shù)據(jù)獲取模塊，用于獲取源文件，其中，所述源文件包括音頻數(shù)據(jù)，以及與所述音頻數(shù)據(jù)相對(duì)應(yīng)的視頻圖像數(shù)據(jù)；

數(shù)據(jù)處理模塊，用于對(duì)所述音頻數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理，得到N個(gè)音頻文字信息和每個(gè)所述音頻文字信息對(duì)應(yīng)的語(yǔ)速信息，其中，N為大于等于1的正整數(shù)，每個(gè)所述音頻文字信息對(duì)應(yīng)一個(gè)文字時(shí)間段；

圖像提取模塊，用于從所述視頻圖像數(shù)據(jù)中提取每個(gè)所述文字時(shí)間段對(duì)應(yīng)的切分圖像數(shù)據(jù)；

圖像處理模塊，用于按照預(yù)設(shè)的選取方式，在每個(gè)所述切分圖像數(shù)據(jù)中選取一幀圖像進(jìn)行圖像預(yù)處理，得到N個(gè)二值化圖像；

情緒分析模塊，用于分別對(duì)每個(gè)所述音頻文字信息和每個(gè)所述音頻文字信息對(duì)應(yīng)的語(yǔ)速信息進(jìn)行情緒分析，并根據(jù)所述音頻文字信息對(duì)應(yīng)的情緒分析結(jié)果和所述語(yǔ)速信息對(duì)應(yīng)的情緒分析結(jié)果的合集，確定每個(gè)所述音頻文字信息對(duì)應(yīng)的情緒名詞，得到N個(gè)所述情緒名詞；