[發(fā)明專利]語音情感識(shí)別設(shè)備及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201010104779.3
• 申請(qǐng)日: 2010-01-29
• 公開（公告）號(hào): CN102142253A
• 公開（公告）日: 2011-08-03
• 發(fā)明（設(shè)計(jì)）人: 郭慶;王彬;陸應(yīng)亮
• 申請(qǐng)（專利權(quán)）人: 富士通株式會(huì)社
• 主分類號(hào): G10L15/00
• 分類號(hào): G10L15/00;G10L15/02;G10L15/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 潘士霖;陳煒

技術(shù)領(lǐng)域

本發(fā)明涉及語音識(shí)別技術(shù)，更具體地，涉及語音情感識(shí)別設(shè)備以及語音情感識(shí)別方法。

背景技術(shù)

情感能力是人類智能的重要標(biāo)志，情感在人與人的交互中必不可少，并在人類的感知、決策等過程中扮演著重要角色。長期以來，情感智能研究只存在于心理學(xué)和認(rèn)知科學(xué)領(lǐng)域。近年來，隨著人工智能的發(fā)展，情感智能跟計(jì)算機(jī)技術(shù)結(jié)合產(chǎn)生了情感計(jì)算這一研究課題。這將大大地促進(jìn)計(jì)算機(jī)技術(shù)的發(fā)展。

語音是人類交流的重要手段，是相互傳遞信息的最方便、最基本和最直接的途徑。語音信號(hào)在傳達(dá)語義信息的同時(shí)，還攜帶著豐富的情感信息。因此，隨著人機(jī)交互技術(shù)的快速發(fā)展，語音信號(hào)中的情感信息正越來越受到研究人員的重視。作為語音信號(hào)情感信息處理的一個(gè)重要研究方向，語音情感識(shí)別是計(jì)算機(jī)理解人類情感的關(guān)鍵，是實(shí)現(xiàn)智能化人機(jī)交互的前提。

語音情感識(shí)別首先要解決的問題是情感狀態(tài)的劃分，目前有兩種比較常用的情感狀態(tài)劃分方法：呈連續(xù)分布的情感狀態(tài)劃分方法和呈離散分布的情感狀態(tài)劃分方法。

呈連續(xù)分布的情感狀態(tài)劃分方法一般傾向于將人類情感表示為幾個(gè)連續(xù)變化的維度。然而，目前為止只有兩個(gè)維度得到普遍認(rèn)可：激發(fā)度(arousal)和評(píng)價(jià)度(valence)，且并不足以表示出所有基本情感。另外，由于只有高信度的量化表示才使空間具有計(jì)算意義，因此維度表示的另一個(gè)問題是如何量化表示情感的位置和距離。但是，目前的維度模型都沒有做到這點(diǎn)，這也限制了基于維度空間的情感計(jì)算。

呈離散分布的情感狀態(tài)劃分方法將人類情感劃分為多個(gè)離散狀態(tài)。由于其簡(jiǎn)化了情感模型，計(jì)算也較為簡(jiǎn)單，因此，目前為止大多數(shù)研究采用這種方法。

關(guān)于如何從語音中自動(dòng)識(shí)別說話者的情感狀態(tài)，在現(xiàn)有的許多專利、專利申請(qǐng)或者論文等中公開了多種方法。例如：

專利文獻(xiàn)1以語音的基音頻率軌跡、振幅、共振峰頻率軌跡為特征，并采用了性別規(guī)整對(duì)說話人性別的差異進(jìn)行處理，最后為每一種情感訓(xùn)練一個(gè)支持向量機(jī)(Support?Vector?Machine，SVM)模型，通過SVM模型對(duì)輸入語音計(jì)算其情感狀態(tài)。

專利文獻(xiàn)2首先對(duì)語音的基頻、能量、語速、共振峰及其帶寬等特征進(jìn)行性能測(cè)試，通過一種特征選擇算法篩選出對(duì)情感識(shí)別影響較大的特征集，共選出了12種與基頻、語速、能量、共振峰、共振峰帶寬相關(guān)的特征。然后對(duì)輸入語音提取以上特征，與數(shù)據(jù)庫中預(yù)存的每種情感的特征相比較，將距離最近的情感模板認(rèn)為是輸入語音的情感狀態(tài)。

專利文獻(xiàn)3采用了語音的基頻、語音時(shí)長、能量這三種韻律信息作為特征進(jìn)行情感計(jì)算。

非專利文獻(xiàn)4采用SVM方法對(duì)于真實(shí)的呼叫中心數(shù)據(jù)進(jìn)行情感識(shí)別。另外，除了使用韻律特征和頻譜特征外，還引入了一些其它特征(這些特征有可能通過語音識(shí)別方法從語音中以較高的可信度獲取)，如音素邊界信息、某段語音不流利等信息。

非專利文獻(xiàn)5和非專利文獻(xiàn)6中采用混合高斯模型(GaussianMixture?Model，GMM)方法對(duì)于時(shí)序的頻譜特征進(jìn)行模型化。

非專利文獻(xiàn)7、非專利文獻(xiàn)8和非專利文獻(xiàn)9中采用隱馬爾可夫模型(Hidden?Markov?Model，HMM)方法對(duì)于時(shí)序的頻譜特征進(jìn)行模型化。其中，非專利文獻(xiàn)9更進(jìn)一步地根據(jù)不同情感狀態(tài)下的不同類型的音素(例如元音、塞音、摩擦音、鼻音等)的聲學(xué)特征變化的不同，針對(duì)不同的音素類型分別訓(xùn)練各個(gè)情感狀態(tài)的HMM，在識(shí)別的時(shí)候首先對(duì)于輸入語音進(jìn)行音素的識(shí)別，然后再應(yīng)用不同的情感狀態(tài)下的HMM進(jìn)行情感的識(shí)別。

非專利文獻(xiàn)10和非專利文獻(xiàn)11中采用線性區(qū)別分析(LinearDiscriminant?Analysis，LDA)方法根據(jù)韻律特征進(jìn)行情感的識(shí)別。

然而，從目前公開的諸多文章、專利和專利申請(qǐng)來看，大多數(shù)的語音情感識(shí)別方案都關(guān)注于借助于語音特征和情感狀態(tài)模型等對(duì)語音的情感狀態(tài)進(jìn)行識(shí)別，而沒有考慮到語音特征和情感狀態(tài)模型等因素對(duì)識(shí)別結(jié)果準(zhǔn)確度的影響，且無法對(duì)識(shí)別結(jié)果準(zhǔn)確度進(jìn)行動(dòng)態(tài)調(diào)節(jié)，因此導(dǎo)致了不穩(wěn)定的尚待改善的識(shí)別結(jié)果準(zhǔn)確度。

因此，目前仍然需要一種能夠獲得改善的識(shí)別結(jié)果準(zhǔn)確度的語音情感識(shí)別設(shè)備和/或方法。

專利文獻(xiàn)1：發(fā)明人為趙力等、名稱為“一種基于支持向量機(jī)的語音情感識(shí)別方法”的中國專利200610097301.6；

專利文獻(xiàn)2：發(fā)明人為Valery?A.Petrushin、名稱為System，methodand?article?of?manufacture?for?an?emotion?detection?system的美國專利申請(qǐng)9/387,037；