[發(fā)明專利]一種融合文本信息的旅游視頻情感分析系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202111449070.1
• 申請(qǐng)日: 2021-12-01
• 公開(kāi)（公告）號(hào): CN113850247B
• 公開(kāi)（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 張衛(wèi)平;丁燁;張浩宇;李顯闊
• 申請(qǐng)（專利權(quán)）人: 環(huán)球數(shù)科集團(tuán)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 北京清控智云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11919
• 代理人: 馬肅

本發(fā)明提供了一種融合文本信息的旅游視頻情感分析系統(tǒng)，包括人臉提取模塊、表情分析模塊、文本分析模塊和綜合處理模塊，所述人臉提取模塊用于在旅游視頻中追蹤人臉的位置，并截取人臉位置的圖像發(fā)送至所述表情分析模塊，所述表情分析模塊從接收的人臉圖像中對(duì)眼部周圍和嘴部周圍進(jìn)行特征提取，并根據(jù)多張連續(xù)人臉圖像的特征變化分析得到喜惡度，所述文本分析模塊對(duì)視頻的文本信息進(jìn)行關(guān)鍵詞提取，根據(jù)關(guān)鍵詞處理得到情感向量，所述綜合處理模塊結(jié)合所述情感向量和所述喜惡度分析得到旅游視頻的情感標(biāo)簽；該系統(tǒng)通過(guò)采用圖像處理技術(shù)分析視頻人物表情的變化并結(jié)合已有的文本介紹更加快捷準(zhǔn)確地對(duì)旅游視頻進(jìn)行標(biāo)簽劃分。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種融合文本信息的旅游視頻情感分析系統(tǒng)。

背景技術(shù)

游客常常會(huì)拍攝旅游視頻上傳到網(wǎng)上用于表達(dá)自己的情感，景點(diǎn)方通過(guò)對(duì)旅游視頻的分析獲取游客的情感表達(dá)作為景點(diǎn)改進(jìn)的依據(jù)，傳統(tǒng)的分析方法包括人工分析和文本分析，人工分析速度慢，成本高，文本分析不夠準(zhǔn)確，現(xiàn)需要一種更加高效準(zhǔn)確的情感分析系統(tǒng)快速處理大量旅游視頻。

現(xiàn)在已經(jīng)開(kāi)發(fā)出了很多且情感分析系統(tǒng)，經(jīng)過(guò)我們大量的檢索與參考，發(fā)現(xiàn)現(xiàn)有的分析系統(tǒng)有如公開(kāi)號(hào)為KR20180019417A，KR1020170085732A、CN105976809B和KR1020140022331A所公開(kāi)的系統(tǒng)，方法包括：獲取待識(shí)別對(duì)象的音頻數(shù)據(jù)和視頻數(shù)據(jù)；從視頻數(shù)據(jù)中提取人臉表情圖像，并進(jìn)行眼睛、鼻子、嘴巴區(qū)域的分割；從三個(gè)區(qū)域的圖像中提取每個(gè)區(qū)域圖像中的面部表情特征；對(duì)語(yǔ)音情感特征和面部表情特征進(jìn)行PCA分析降維；將兩種模態(tài)樣本進(jìn)行樸素貝葉斯的情感語(yǔ)音分類，并將條件概率進(jìn)行決策級(jí)融合，得到最終情感識(shí)別結(jié)果。但該系統(tǒng)只是根據(jù)圖像來(lái)獲取情感，對(duì)旅游視頻的分析沒(méi)有針對(duì)性，分析的結(jié)果不夠準(zhǔn)確。

發(fā)明內(nèi)容

本發(fā)明的目的在于，針對(duì)所存在的不足，提出了一種融合文本信息的旅游視頻情感分析系統(tǒng)，

本發(fā)明采用如下技術(shù)方案：

一種融合文本信息的旅游視頻情感分析系統(tǒng)，包括人臉提取模塊、表情分析模塊、文本分析模塊和綜合處理模塊，所述人臉提取模塊用于在旅游視頻中追蹤人臉圖像，所述表情分析模塊對(duì)人臉圖像進(jìn)行分析得到喜惡度，所述文本分析模塊對(duì)視頻的文本信息進(jìn)行處理得到情感向量，所述綜合處理模塊結(jié)合所述情感向量和所述喜惡度得到旅游視頻的情感標(biāo)簽；

所述表情分析模塊根據(jù)像素點(diǎn)的灰度值獲取到三個(gè)特殊區(qū)域，所述三個(gè)特殊區(qū)域的重心點(diǎn)滿足如下要求：

；

其中，(x₁，y₁)、(x₂，y₂)和(x₃，y₃)分別為三個(gè)重心點(diǎn)的坐標(biāo)，△1、△2和△3為三個(gè)可信誤差；

以三個(gè)重心點(diǎn)為基礎(chǔ)框定三個(gè)特征分析區(qū)域，所述特征分析區(qū)域的范圍比所述特殊區(qū)域大，在每個(gè)特征分析區(qū)域內(nèi)搜索一條特征線，所述特征線上的像素點(diǎn)稱為特征點(diǎn)，所述特征點(diǎn)灰度值g(x，y)滿足如下條件：

g(x，y-2)g(x，y-1)g(x，y)g(x，y+1)g(x，y+2)；

所述表情分析模塊計(jì)算三個(gè)重心點(diǎn)的特征值P₁、P₂、P₃：

；

；

；

其中，(x(i)，y(i))表示重心點(diǎn)對(duì)應(yīng)的特征線上第i個(gè)像素點(diǎn)的坐標(biāo)，m為一條特征線上特征點(diǎn)的個(gè)數(shù)；

所述表情分析模塊對(duì)三個(gè)特征值進(jìn)行處理得到綜合特征值P_z：

；