[發(fā)明專利]語(yǔ)音情緒識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110734840.0
• 申請(qǐng)日: 2021-06-30
• 公開（公告）號(hào): CN113409823B
• 公開（公告）日: 2023-03-21
• 發(fā)明（設(shè)計(jì)）人: 張之勇;王健宗
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G10L25/63
• 分類號(hào): G10L25/63;G10L25/30
• 代理公司: 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 44334
• 代理人: 陳海云

1.一種語(yǔ)音情緒識(shí)別方法，其特征在于，所述方法包括：

從預(yù)設(shè)的多個(gè)語(yǔ)音情緒語(yǔ)料庫(kù)中獲取語(yǔ)音樣本數(shù)據(jù)集，其中，所述語(yǔ)音樣本數(shù)據(jù)集中包括大樣本數(shù)據(jù)集和小樣本數(shù)據(jù)集；

對(duì)所述小樣本數(shù)據(jù)集進(jìn)行語(yǔ)音數(shù)據(jù)擴(kuò)充，得到目標(biāo)小樣本數(shù)據(jù)集；

將所述大樣本數(shù)據(jù)集和所述目標(biāo)小樣本數(shù)據(jù)集進(jìn)行融合，得到目標(biāo)樣本數(shù)據(jù)集；

根據(jù)所述目標(biāo)樣本數(shù)據(jù)集訓(xùn)練語(yǔ)音情緒識(shí)別模型，其中，所述語(yǔ)音情緒識(shí)別模型包括：密連接神經(jīng)網(wǎng)絡(luò)、與所述密連接神經(jīng)網(wǎng)絡(luò)連接的長(zhǎng)短期記憶網(wǎng)絡(luò)、與所述長(zhǎng)短期記憶網(wǎng)絡(luò)連接的高速神經(jīng)網(wǎng)絡(luò)、及與所述高速神經(jīng)網(wǎng)絡(luò)連接的Softmax層，其中，所述密連接神經(jīng)網(wǎng)絡(luò)包括：第一密集塊、與所述第一密集塊連接的第一傳遞層、與所述第一傳遞層連接的第二密集塊、與所述第二密集塊連接的第二傳遞層及與所述第二傳遞層連接的第三密集塊，所述第一傳遞層包含有批標(biāo)準(zhǔn)化層、與所述批標(biāo)準(zhǔn)化層連接的卷積層及與所述卷積層連接的平均池化層，所述第二傳遞層與所述第一傳遞層網(wǎng)絡(luò)結(jié)構(gòu)相同；

獲取待識(shí)別語(yǔ)音數(shù)據(jù)；

將所述待識(shí)別語(yǔ)音數(shù)據(jù)輸入至訓(xùn)練好的語(yǔ)音情緒識(shí)別模型中，得到所述待識(shí)別語(yǔ)音數(shù)據(jù)的情緒識(shí)別結(jié)果。

2.如權(quán)利要求1所述的語(yǔ)音情緒識(shí)別方法，其特征在于，所述將所述待識(shí)別語(yǔ)音數(shù)據(jù)輸入至訓(xùn)練好的語(yǔ)音情緒識(shí)別模型中，得到所述待識(shí)別語(yǔ)音數(shù)據(jù)的情緒識(shí)別結(jié)果包括：

將所述待識(shí)別語(yǔ)音數(shù)據(jù)輸入至密連接神經(jīng)網(wǎng)絡(luò)中，得到局部語(yǔ)音特征；

將所述局部語(yǔ)音特征輸入至長(zhǎng)短期記憶網(wǎng)絡(luò)中，通過(guò)所述長(zhǎng)短期記憶網(wǎng)絡(luò)對(duì)所述局部語(yǔ)音特征進(jìn)行上下文本聚合，得到全局語(yǔ)音特征；

將所述局部語(yǔ)音特征和所述全局語(yǔ)音特征輸入至高速神經(jīng)網(wǎng)絡(luò)中，得到目標(biāo)語(yǔ)音特征；

對(duì)所述目標(biāo)語(yǔ)音特征輸入至Softmax層中進(jìn)行歸一化計(jì)算，得到每個(gè)目標(biāo)語(yǔ)音特征的情緒標(biāo)簽預(yù)測(cè)值；

根據(jù)所述每個(gè)目標(biāo)語(yǔ)音特征的情緒標(biāo)簽預(yù)測(cè)值和每個(gè)目標(biāo)語(yǔ)音特征的情緒標(biāo)簽真實(shí)值，計(jì)算每個(gè)目標(biāo)語(yǔ)音特征對(duì)應(yīng)的均方差損失值，并根據(jù)每個(gè)目標(biāo)語(yǔ)音特征對(duì)應(yīng)的均方差損失值進(jìn)行情緒識(shí)別，得到所述待識(shí)別語(yǔ)音數(shù)據(jù)的情緒識(shí)別結(jié)果。

3.如權(quán)利要求2所述的語(yǔ)音情緒識(shí)別方法，其特征在于，所述將所述待識(shí)別語(yǔ)音數(shù)據(jù)輸入至密連接神經(jīng)網(wǎng)絡(luò)中，得到局部語(yǔ)音特征包括：

將所述待識(shí)別語(yǔ)音數(shù)據(jù)輸入至所述第一密集塊中，得到第一語(yǔ)音特征；

將所述第一語(yǔ)音特征輸入至所述第一傳遞層，在所述第一傳遞層中對(duì)所述第一語(yǔ)音特征進(jìn)行批量歸一化處理，將批量歸一化處理后的第一語(yǔ)音特征輸入至所述卷積層中進(jìn)行卷積計(jì)算，并將卷積計(jì)算得到的第一語(yǔ)音特征輸入至所述平均池化層中，提取最大的第一語(yǔ)音特征輸入至所述第二密集塊中，得到第二語(yǔ)音特征；

將所述第二語(yǔ)音特征輸入至所述第二傳遞層，在所述第二傳遞層中對(duì)所述第二語(yǔ)音特征進(jìn)行批量歸一化處理，將批量歸一化處理后的第二語(yǔ)音特征輸入至所述卷積層中進(jìn)行卷積計(jì)算，并將卷積計(jì)算得到的第二語(yǔ)音特征輸入至所述平均池化層中，提取最大的第二語(yǔ)音特征輸入至所述第三密集塊中，得到第三語(yǔ)音特征；

合并所述第一語(yǔ)音特征、所述第二語(yǔ)音特征及所述第三語(yǔ)音特征，得到局部語(yǔ)音特征。

4.如權(quán)利要求1所述的語(yǔ)音情緒識(shí)別方法，其特征在于，所述對(duì)所述小樣本數(shù)據(jù)集進(jìn)行語(yǔ)音數(shù)據(jù)擴(kuò)充，得到目標(biāo)小樣本數(shù)據(jù)集包括：

從每個(gè)所述小樣本數(shù)據(jù)集中的識(shí)別出每個(gè)語(yǔ)音數(shù)據(jù)的語(yǔ)速、語(yǔ)調(diào)及噪音；

對(duì)每個(gè)所述小樣本數(shù)據(jù)集中的每個(gè)語(yǔ)音數(shù)據(jù)的語(yǔ)速、語(yǔ)調(diào)及噪音分別進(jìn)行語(yǔ)音數(shù)據(jù)增強(qiáng)，得到第一小樣本數(shù)據(jù)集；

將第一小樣本數(shù)據(jù)集與所述小樣本數(shù)據(jù)集進(jìn)行融合，得到第二小樣本數(shù)據(jù)集；

在所述第二小樣本數(shù)據(jù)集中隨機(jī)添加高斯白噪聲，得到第三小樣本數(shù)據(jù)集；

提取每個(gè)所述第三小樣本數(shù)據(jù)集中的語(yǔ)音特征集，根據(jù)所述語(yǔ)音特征集生成連續(xù)時(shí)間的頻譜圖，對(duì)所述頻譜圖進(jìn)行時(shí)頻域掩膜，得到目標(biāo)小樣本數(shù)據(jù)集。