[發(fā)明專利]語(yǔ)音分離方法、語(yǔ)音識(shí)別方法及相關(guān)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910745682.1
• 申請(qǐng)日: 2019-04-12
• 公開(kāi)（公告）號(hào): CN110459237B
• 公開(kāi)（公告）日: 2020-11-20
• 發(fā)明（設(shè)計(jì)）人: 陳聯(lián)武;于蒙;蘇丹;俞棟
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G10L21/0272
• 分類號(hào): G10L21/0272;G10L21/0308;G10L25/30;G10L21/0216;G10L21/0208
• 代理公司: 深圳市隆天聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

本發(fā)明實(shí)施例提供了一種語(yǔ)音分離方法、語(yǔ)音識(shí)別方法及相關(guān)設(shè)備。該語(yǔ)音分離方法包括：獲取包括至少兩個(gè)目標(biāo)對(duì)象的語(yǔ)音信號(hào)的混合語(yǔ)音信號(hào)；獲取所述混合語(yǔ)音信號(hào)對(duì)應(yīng)的單通道頻譜特征和多通道方位特征；通過(guò)重疊判斷模型對(duì)所述單通道頻譜特征和多通道方位特征進(jìn)行處理，獲得所述混合語(yǔ)音信號(hào)中的目標(biāo)對(duì)象之間是否存在重疊的判斷結(jié)果，所述重疊判斷模型用于判斷目標(biāo)對(duì)象之間是否存在空間上的重疊；根據(jù)所述判斷結(jié)果確定所述混合語(yǔ)音信號(hào)中各目標(biāo)對(duì)象的目標(biāo)語(yǔ)音頻譜掩碼矩陣。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體而言，涉及一種語(yǔ)音分離方法、語(yǔ)音識(shí)別方法、語(yǔ)音分離裝置、計(jì)算機(jī)可讀介質(zhì)及電子設(shè)備。

背景技術(shù)

在嘈雜的聲學(xué)環(huán)境中，比如在雞尾酒會(huì)中，往往同時(shí)存在著許多不同的聲源：多個(gè)人同時(shí)說(shuō)話的聲音、餐具的碰撞聲、音樂(lè)聲等雜音，以及這些聲音經(jīng)墻壁和室內(nèi)的物體反射所產(chǎn)生的反射聲等。在聲波的傳遞過(guò)程中，不同聲源所發(fā)出的聲波之間(不同人說(shuō)話的聲音以及其他物體振動(dòng)發(fā)出的聲音)以及直達(dá)聲和反射聲之間會(huì)在傳播介質(zhì)(通常是空氣)中相疊加而形成復(fù)雜的混合聲波。

因此，在達(dá)到聽(tīng)者外耳道的混合聲波中已經(jīng)不存在獨(dú)立的與多個(gè)聲源相對(duì)應(yīng)的聲波了。然而，在這種聲學(xué)環(huán)境下，人類的聽(tīng)覺(jué)系統(tǒng)卻能在一定程度上聽(tīng)清楚其所注意的目標(biāo)語(yǔ)音，而機(jī)器在這方面的能力還不如人類。

因此，在語(yǔ)音信號(hào)處理領(lǐng)域，如何能夠?qū)崿F(xiàn)在嘈雜環(huán)境中分離出目標(biāo)語(yǔ)音的功能是目前亟待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種語(yǔ)音分離方法、語(yǔ)音識(shí)別方法及相關(guān)設(shè)備，進(jìn)而至少在一定程度上實(shí)現(xiàn)在嘈雜環(huán)境中分離出目標(biāo)語(yǔ)音。

本發(fā)明的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種語(yǔ)音分離方法，所述方法包括：獲取包括至少兩個(gè)目標(biāo)對(duì)象的語(yǔ)音信號(hào)的混合語(yǔ)音信號(hào)；獲取所述混合語(yǔ)音信號(hào)對(duì)應(yīng)的全語(yǔ)音頻段的單通道頻譜特征和多通道方位特征，所述全語(yǔ)音頻段包括K個(gè)子頻段，K為大于等于2的正整數(shù)；從所述全語(yǔ)音頻段的單通道頻譜特征和多通道方位特征中，提取K個(gè)子頻段的單通道頻譜特征和多通道方位特征；通過(guò)K個(gè)第一神經(jīng)網(wǎng)絡(luò)對(duì)所述K個(gè)子頻段的單通道頻譜特征和多通道方位特征進(jìn)行處理，獲得K個(gè)第一特征向量；根據(jù)所述K個(gè)第一特征向量生成合并特征向量；通過(guò)第一預(yù)測(cè)網(wǎng)絡(luò)對(duì)所述合并特征向量進(jìn)行處理，獲得所述混合語(yǔ)音信號(hào)中各目標(biāo)對(duì)象的第一語(yǔ)音頻譜掩碼矩陣。

在本發(fā)明的一些示例性實(shí)施例中，所述方法還包括：根據(jù)各目標(biāo)對(duì)象的第一語(yǔ)音頻譜掩碼矩陣和所述混合語(yǔ)音信號(hào)，獲得各目標(biāo)對(duì)象的第一語(yǔ)音頻譜。

在本發(fā)明的一些示例性實(shí)施例中，K的取值范圍為[2,8]之間的正整數(shù)。

在本發(fā)明的一些示例性實(shí)施例中，所述單通道頻譜特征包括對(duì)數(shù)功率譜；所述多通道方位特征包括多通道相位差特征和/或多通道幅度差特征。

在本發(fā)明的一些示例性實(shí)施例中，K個(gè)第一神經(jīng)網(wǎng)絡(luò)中的各第一神經(jīng)網(wǎng)絡(luò)包括LSTM、DNN、CNN中的任意一個(gè)或者多個(gè)。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種語(yǔ)音分離方法，所述方法包括：獲取包括至少兩個(gè)目標(biāo)對(duì)象的語(yǔ)音信號(hào)的混合語(yǔ)音信號(hào)；獲取所述混合語(yǔ)音信號(hào)對(duì)應(yīng)的單通道頻譜特征和多通道方位特征；通過(guò)重疊判斷模型對(duì)所述單通道頻譜特征和多通道方位特征進(jìn)行處理，獲得所述混合語(yǔ)音信號(hào)中的目標(biāo)對(duì)象之間是否存在重疊的判斷結(jié)果，所述重疊判斷模型用于判斷目標(biāo)對(duì)象之間是否存在空間上的重疊；根據(jù)所述判斷結(jié)果確定所述混合語(yǔ)音信號(hào)中各目標(biāo)對(duì)象的目標(biāo)語(yǔ)音頻譜掩碼矩陣。

在本發(fā)明的一些示例性實(shí)施例中，根據(jù)所述判斷結(jié)果確定所述混合語(yǔ)音信號(hào)中各目標(biāo)對(duì)象的目標(biāo)語(yǔ)音頻譜掩碼矩陣，包括：若所述判斷結(jié)果為目標(biāo)對(duì)象之間不存在重疊，則通過(guò)多通道分離網(wǎng)絡(luò)對(duì)所述單通道頻譜特征和多通道方位特征進(jìn)行處理，獲得所述目標(biāo)語(yǔ)音頻譜掩碼矩陣。