日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種基于增強式殘差神經網絡的多模態語音情感識別方法在審

專利信息
申請號: 201811346114.6 申請日: 2018-11-13
公開(公告)號: CN109460737A 公開(公告)日: 2019-03-12
發明(設計)人: 陳盈科;毛華;吳雨 申請(專利權)人: 四川大學
主分類號: G06K9/00 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
代理公司: 暫無信息 代理人: 暫無信息
地址: 610065 四川*** 國省代碼: 四川;51
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 神經網絡 多模態 增強式 殘差 情感識別 語音情感 語音 視頻 卷積神經網絡 語音數據轉換 語音信號分析 多分類模型 多模態數據 模型初始化 視頻流圖像 模型使用 情感標簽 情感類別 情感特征 人機交互 時序數據 數據特征 特征表達 網絡結構 序列視頻 序列數據 選擇概率 原始數據 預測 準確率 卷積 模態 維度 分類 融合 概率
【說明書】:

發明公開了一種基于增強式深度殘差神經網絡的多模態語音情感識別方法,涉及視頻流圖像處理和語音信號分析等技術領域,解決人機交互的情感識別問題。本發明主要有提取視頻(序列數據)與語音的特征表達,包括將語音數據轉換為相應的語譜圖表達,以及對時序數據進行編碼;使用卷積神經網絡提取原始數據的情感特征表達用于分類,模型接受多輸入并且輸入維度不等,提出交叉卷積層對不同模態的數據特征進行融合,模型使用的整體網絡結構是增強式深度殘差神經網絡;模型初始化后,使用語音語譜圖、序列視頻信息及相應的情感標簽訓練多分類模型,訓練完畢后對未標記的語音和視頻進行預測,得到情感預測的概率值,選擇概率最大值作為該多模態數據的情感類別。本發明在多模態情感識別問題上提高了識別準確率。

技術領域

一種基于增強式深度殘差神經網絡的多模態語音情感識別方法,涉及視頻流圖像處理和語音信號分析等技術領域,解決人機交互的情感識別問題。

背景技術

隨著計算機技術的快速發展,人類對計算機的依賴性和要求不斷增強,如何更好地實現計算機的擬人化成為了一個研究熱點,擁有“情感”已經成為了計算機下一代的研究目標。情感可以通過多種溝通方式傳遞,例如文本,語音,視頻等。通過單一的信息,往往不能夠很好地理解情感,因此多模態數據的情感識別是目前模式識別的主要眼界方向。

傳統的多模態研究方法主要依賴面部表情信息,通過面部特征提取對情感進行分類,或者根據語音信息提取特征,首先采集特定人面部表情樣本建立面部表情數據庫,或者采集特定人語音樣本建立語音數據庫。傳統的研究點通常是征對所有形式大數據統一的研究方法,例如有特征提取,特征選擇,特征歸一化等。該項目研究征對語音大數據的特點,研究基于傅里葉變換的頻域特征選擇,研究頻域特征,例如MFCC,語譜圖等的特征級別數據融合技術。但是由于語音與圖像信息往往是高維度的數據,傳統的計算方法不能很好地進行特征學習。

針對大數據多維度,特征稀疏等特點,研究數據融合方法,利用深度學習的強大學習能力,在不丟失數據特征下,結合其他模態,例如視頻圖像,文本等,從深度學習“深”的特點出發,通過借鑒深度模型的強大能力,通過增加深度的非線性連接設計多深度,多廣度的數據融合模型,提高情感的辨識度。

發明內容

本發明提供了一種基于增強式深度殘差神經網絡的多模態語音情感識別方法,解決人機交互問題中情感識別問題,實現大數據高維度數據的有效融合,提高情感識別任務的效果。

為了實現上述目的,本發明所采用的技術方案是:

基于增強式深度殘差神經網絡的多模態語音情感識別方法,其特征在于利用殘差網絡交叉融合多模態的輸入信息,包括如下步驟:

(1)將多模態輸入數據進行預處理,包括轉換語音數據為相應的語譜圖,處理視頻流數據組織成時序表達;

(2)設計網絡模型,使用增強式深度殘差神經網絡,對維度不等的多模態輸入信息進行特征提取與特征融合;

(3)訓練與測試模型,使用匹配的多模態輸入數據及對應的情感類別標簽,訓練深度神經網絡模型;訓練好的的模型對未標記的多模態輸入數據進行預測,得到各類情感預測的概率值,選擇較高概率值的類別作為情感識別的結果。

進一步,所述步驟(1)中包括如下步驟:

(11)語音預處理:語音的特征表達是預處理的關鍵步驟,本發明采用語譜圖作為語音特征的一種表示,相比于其他特征提取算法,語譜圖包含了更多的語音原始信息包括時間、頻率、振幅等信息,降低了語音維度的同時保留了大部分語音的原始信息;

(12)視頻流預處理:視頻流數據主要包含對人體的面部表情與肢體動作在視頻的變化的移動信息記錄,將每個時刻視頻內的位置信息(面部,頭部,手)構成一個一維表達,將多個時刻的一維表達合并,并通過滑動窗口的處理,得到統一的時序數據表達。

進一步,所述步驟(2)中包括如下步驟:

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于四川大學,未經四川大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/201811346114.6/2.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 91福利视频免费观看| 久久久久国产亚洲| 狠狠插狠狠爱| 国产日本欧美一区二区三区| 国产精品美女www爽爽爽视频| 国产一二区在线观看| 欧美日韩激情一区二区| 国产一区二区国产| 国产高清在线一区| 99精品视频一区二区| 国产日产精品一区二区三区| 国产午夜三级一二三区| 国产一区二区三区在线电影| 视频一区二区三区中文字幕| 夜夜嗨av禁果av粉嫩av懂色av| 午夜剧场伦理| 日韩精品一区二区久久| 国产不卡一二三区| 日韩女女同一区二区三区| 少妇厨房与子伦在线观看| 亚洲视频h| 国产欧美亚洲精品第一区软件| 国产精品18久久久久白浆| 久久人91精品久久久久久不卡| 免费精品一区二区三区第35 | 国产精品亚洲欧美日韩一区在线| 99久久国产免费,99久久国产免费大片| 国产一区二区三区久久久| 国产精品久久久久久久久久久久冷| 欧美日韩国产精品一区二区亚洲| 少妇高潮一区二区三区99小说| 欧美日韩亚洲三区| 91片在线观看| 99久久久久久国产精品| 日本免费电影一区二区| 国产69久久| 99久久夜色精品| 国产欧美日韩va另类在线播放| 精品综合久久久久| а√天堂8资源中文在线| 久久久精品99久久精品36亚| 国产网站一区二区| 国产亚洲综合一区二区| 日韩中文字幕久久久97都市激情| 99精品国产99久久久久久97| 久久精品综合| 久久91久久久久麻豆精品| 色综合久久精品| 午夜免费片| 岛国黄色网址| 久久免费福利视频| 国产真实一区二区三区| 久久99亚洲精品久久99果| 国产精品天堂网| 国产69精品久久久| 在线国产精品一区二区| 黑人巨大精品欧美黑寡妇| 国产欧美二区| 素人av在线| 欧美一区二区三区爽大粗免费| 国产精品一二三区免费| 亚洲欧美国产中文字幕| 国产精品一区不卡| 黄色91在线观看| 久久国产精品久久久久久电车| 午夜av免费观看| 国产91在线拍偷自揄拍| 日本一区二区三区免费视频 | 国产麻豆91欧美一区二区| 亚洲乱强伦| 99久久国产综合精品麻豆| freexxxx性| 日韩美一区二区三区| 日韩av一二三四区| 欧美一区二区三区高清视频| 国产在线一区观看| 欧美精品日韩精品| 久久伊人色综合| 免费看片一区二区三区| 亚洲v欧美v另类v综合v日韩v| 日韩中文字幕区一区有砖一区| 欧美日韩国产区| 99国产精品| 日本一区二区高清| 国产三级精品在线观看| 久久99国产视频| 国产精品天堂| 年轻bbwwbbww高潮| 国产日韩欧美在线影视| 国产人澡人澡澡澡人碰视| 国产欧美亚洲精品第一区软件| 四季av中文字幕一区| 国产一级片一区| 99久久精品免费视频| 欧美精品一区二区三区四区在线| 国产精品亚洲а∨天堂123bt| 中文字幕一区二区三区又粗| 满春阁精品av在线导航| 一区二区久久精品| 91久久国语露脸精品国产高跟| 国产91久| 亚洲精品久久久久久动漫| 国产91视频一区| 精品久久久久久亚洲综合网| 亚洲午夜天堂吃瓜在线| 91理论片午午伦夜理片久久| 国产精品69久久久| 小萝莉av| 国产偷久久一区精品69| 久久天堂国产香蕉三区| 国产精品你懂的在线| 亚洲精品日韩激情欧美| 久久综合伊人77777麻豆| 国产一区二区三区影院| 丝袜诱惑一区二区三区| 欧美综合国产精品久久丁香| 日韩精品一区在线视频| 国产清纯白嫩初高生在线播放性色| 国产精品一区二区久久乐夜夜嗨| 久久人人精品| 91久久国产露脸精品国产| 欧美乱妇在线视频播放| 在线电影一区二区| 欧美极品少妇xxxxⅹ| 国产精品对白刺激久久久| 亚洲欧美日本一区二区三区| 欧美精品一区二区三区久久久竹菊| 久久影院国产精品| 欧美日韩一区二区三区四区五区| 国产毛片精品一区二区| 欧洲激情一区二区| 99精品国产一区二区三区麻豆| 久久福利视频网| 日韩av在线播放网址| 狠狠色狠狠色很很综合很久久| 99久久久久久国产精品| 日韩av中文字幕第一页| 国产婷婷一区二区三区久久| 亚洲精品国产精品国自产网站按摩| 午夜特级片| 国产99久久九九精品免费| 欧美精品日韩一区| 亚洲少妇一区二区三区| 午夜剧场一区| 色就是色欧美亚洲| 国产日韩欧美网站| 秋霞三级伦理| 丰满岳妇伦4在线观看| 欧美一区二区三区激情| 午夜诱惑影院| 中文字幕1区2区3区| 中文字幕一区二区三区免费| 国产精品视频久久| 日韩av片无码一区二区不卡电影| 亚洲麻豆一区| 国产在线精品一区二区| 一区二区91| 91麻豆精品国产91久久| 男人的天堂一区二区| 精品国产区一区二| 国产乱子伦农村xxxx| 精品久久小视频| 国产精品日韩精品欧美精品| 欧美精品一区二区久久| 97久久精品人人做人人爽50路| 国产69精品久久99的直播节目 | 精品一区在线观看视频| 国产aⅴ精品久久久久久| 国产高清一区在线观看| 日本福利一区二区| 亚洲欧美一二三| 久久国产这里只有精品| 欧美国产一区二区在线| 精品久久香蕉国产线看观看gif| 国产1区2区3区中文字幕| 香蕉久久国产| 久久99久国产精品黄毛片入口| 国产欧美三区| 日韩一级视频在线| 蜜臀久久99精品久久久| 日本精品一区视频| 国产日韩欧美综合在线| www亚洲精品| 国产日韩一区二区在线| 欧美日韩亚洲另类| 91九色精品| freexxxxxxx| 国产88av| 国产97在线播放| 亚洲视频精品一区| 韩漫无遮韩漫免费网址肉| 日韩av免费网站| 中文字幕1区2区3区| 国产午夜精品一区二区三区在线观看 | 亚洲乱玛2021| 欧美精品亚洲一区| 久久第一区| 欧美一区二区精品久久911| 欧洲精品一区二区三区久久| 96国产精品| 国产午夜一区二区三区| 日本美女视频一区二区| 88国产精品视频一区二区三区| 亚洲精品一区二区三区香蕉| 国产精品女同一区二区免费站| 国产一级片子| 国产在线精品一区| 国产偷久久一区精品69| 国产精品不卡在线| 综合久久色| 国产偷亚洲偷欧美偷精品| 性欧美激情日韩精品七区| 欧美日韩一区二区三区四区五区 | 国产高清无套内谢免费| 国产一区www| 91嫩草入口| 丝袜美腿诱惑一区二区| 国产午夜精品一区二区三区最新电影| freexxxx性| 欧美日韩国产午夜| 免费**毛片| 日韩精品久久一区二区三区| 亚洲精品色婷婷| 国产亚洲久久| 欧美日韩精品在线播放| 欧美69精品久久久久久不卡| 欧美黑人巨大久久久精品一区| 国产videosfree性另类| 国产一区日韩欧美| 日韩一级视频在线| 国产欧美一区二区精品久久| 亚洲一区二区三区加勒比| 99久久国产综合精品女不卡| 日韩av在线播| 日本一区二区高清| 国产日韩欧美精品一区二区| 国产精品一二三区视频网站| 91精品一区二区在线观看| 99精品久久久久久久婷婷| 欧美精品日韩一区| 国产色午夜婷婷一区二区三区| 国产精品欧美一区二区三区奶水| 久久综合二区| 亚洲精品久久久久玩吗| 日韩国产精品一区二区| 91精品福利在线|