[發(fā)明專利]一種對(duì)話文本的深度學(xué)習(xí)情感識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110371956.2
• 申請(qǐng)日: 2021-04-07
• 公開（公告）號(hào): CN112967737A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 黃志春;張定國(guó);伍宇文;李韌;康文靜
• 申請(qǐng)（專利權(quán)）人: 廣州偉宏智能科技有限公司
• 主分類號(hào): G10L25/63
• 分類號(hào): G10L25/63;G10L25/30;G10L25/03;G06N3/04;G06N3/08
• 代理公司: 佛山市神機(jī)營(yíng)專利代理事務(wù)所(普通合伙) 44765
• 代理人: 許尤慶

1.一種對(duì)話文本的深度學(xué)習(xí)情感識(shí)別方法，其特征在于，包括以下步驟：

S1、獲得文本對(duì)話集，對(duì)所述文本對(duì)話集的語音進(jìn)行交疊分幀，并以幀為單位提取語音的幀特征；

S2、對(duì)語音的幀特征進(jìn)行時(shí)序建模，確定情感語音幀和非情感語音幀；

S3、對(duì)情感語音幀進(jìn)行注意力機(jī)制計(jì)算，使用Attention機(jī)制網(wǎng)絡(luò)模型計(jì)算每一幀對(duì)情感識(shí)別的重要性，并根據(jù)重要性決定使用每一個(gè)幀情感信息的多少；

S4、將情感語音提取幀特征之后使用LSTM網(wǎng)絡(luò)進(jìn)行編碼獲得情感語義編碼序列，并使用Attention機(jī)制計(jì)算出一個(gè)語義向量將其輸入到解碼器中進(jìn)行解碼，并經(jīng)過若干次時(shí)間步之后，解碼器輸出情感識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種對(duì)話文本的深度學(xué)習(xí)情感識(shí)別方法，其特征在于，所述S2中時(shí)序建模包括構(gòu)建情感語音所對(duì)應(yīng)的情感狀態(tài)鏈，由情緒狀態(tài)和非情緒狀態(tài)；將整個(gè)情感語音樣本的標(biāo)簽y在假設(shè)的指導(dǎo)下擴(kuò)展為一個(gè)標(biāo)簽序列y^seg＝(Null,y,Null,...,y,Null)；根據(jù)y^seg中y的個(gè)數(shù)確定一個(gè)文情感語音樣本對(duì)應(yīng)的標(biāo)簽序列斂。

3.根據(jù)權(quán)利要求1所述的一種對(duì)話文本的深度學(xué)習(xí)情感識(shí)別方法，其特征在于，所述S2中時(shí)序建模采用LSTM-CTC時(shí)序深度學(xué)習(xí)模型，進(jìn)行建模，并通過時(shí)間上誤差反向傳播算法訓(xùn)練LSTM-CTC網(wǎng)絡(luò)，使其收斂。

4.根據(jù)權(quán)利要求1所述的一種對(duì)話文本的深度學(xué)習(xí)情感識(shí)別方法，其特征在于，所述Attention機(jī)制的語音情感識(shí)別模型由兩個(gè)LSTM網(wǎng)絡(luò)模型組成，并分別作為編碼器和解碼器。

5.根據(jù)權(quán)利要求4所述的一種對(duì)話文本的深度學(xué)習(xí)情感識(shí)別方法，其特征在于，所述Attention機(jī)制的語音情感識(shí)別模型識(shí)別流程為：對(duì)一個(gè)語音樣本的情感特征，進(jìn)行編碼器，得到該語音的情感語義編碼序列，在得到語音的情感語義編碼序列后，將最后一個(gè)編碼向量輸入到解碼器之中開始進(jìn)行情感解碼。

6.根據(jù)權(quán)利要求4所述的一種對(duì)話文本的深度學(xué)習(xí)情感識(shí)別方法，其特征在于，所述解碼器接收兩個(gè)輸入，一個(gè)輸入是根據(jù)上一時(shí)刻注意力計(jì)算得到的情感語義向量，另外一個(gè)輸入是解碼器根據(jù)上一時(shí)刻的情感識(shí)別結(jié)果對(duì)應(yīng)的情感表示向量。

7.根據(jù)權(quán)利要求1所述的一種對(duì)話文本的深度學(xué)習(xí)情感識(shí)別方法，其特征在于，在S4解碼過程中，每一個(gè)時(shí)間步計(jì)算一次對(duì)語音情感語義編碼序列的注意力，并根據(jù)注意力計(jì)算情感語義向量作為下一時(shí)刻的輸入，并且解碼器在每一次時(shí)間步中都會(huì)做一次情感識(shí)別判斷，判斷當(dāng)前語句屬于哪一種情感，并將代表該類情感的表示向量作為下一次時(shí)間步的輸入，經(jīng)過若干次時(shí)間步之后，解碼器輸出情感識(shí)別結(jié)果。