[發(fā)明專利]聲音信號(hào)獲取方法和裝置、存儲(chǔ)介質(zhì)、電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201910351668.3
• 申請日: 2019-04-28
• 公開（公告）號(hào): CN111863005A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 張志飛
• 申請（專利權(quán)）人: 北京地平線機(jī)器人技術(shù)研發(fā)有限公司
• 主分類號(hào): G10L21/0208
• 分類號(hào): G10L21/0208;G10L21/0216;G10L21/0272;G06K9/00
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

本公開實(shí)施例公開了一種聲音信號(hào)獲取方法和裝置、存儲(chǔ)介質(zhì)、電子設(shè)備，其中，方法包括：獲取空間中的原始信號(hào)，所述原始信號(hào)是基于所述空間中的K個(gè)聲源發(fā)出的聲音信號(hào)確定的，所述K為聲源數(shù)量，且為大于或等于1的整數(shù)；獲取所述K個(gè)聲源中每個(gè)聲源的圖像；基于每個(gè)所述聲源的圖像和所述原始信號(hào)，確定所述K個(gè)聲源中目標(biāo)聲源的聲音信號(hào)，本公開除了獲取聲音信號(hào)本身，還獲取了額外的體現(xiàn)為聲源的圖像的視覺信息，結(jié)合聲音信號(hào)和圖像信息實(shí)現(xiàn)實(shí)時(shí)獲取期望信號(hào)，由于加入了圖像的視覺信息，因此可直觀獲得空間當(dāng)前環(huán)境的復(fù)雜程度，進(jìn)而可提高目標(biāo)聲源的聲音信號(hào)的準(zhǔn)確性和完整性。

技術(shù)領(lǐng)域

本公開涉及聲音信號(hào)處理技術(shù)，尤其是一種聲音信號(hào)獲取方法和裝置、存儲(chǔ)介質(zhì)、電子設(shè)備。

背景技術(shù)

“雞尾酒會(huì)”問題是語音增強(qiáng)系統(tǒng)中極具挑戰(zhàn)性的問題之一，其難點(diǎn)在于要求從包含音樂、車輛噪聲以及其他說話人嘈雜環(huán)境中，分離提取期望說話人的語音信號(hào)，而人類聽覺系統(tǒng)能夠從這一環(huán)境中輕易地提取感興趣的音頻信號(hào)。

現(xiàn)有分離提取期望聲音信號(hào)的解決方案是使用盲信號(hào)分離系統(tǒng)來模擬人類的聽覺系統(tǒng)，將采集到的信號(hào)分離完成后，從各通道中選擇能量最大的聲源作為期望信號(hào)。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)在沒有先驗(yàn)知識(shí)的情況下，僅根據(jù)語音信號(hào)本身特征很難實(shí)時(shí)選中期望信號(hào)的技術(shù)問題，提出了本公開。本公開的實(shí)施例提供了一種聲音信號(hào)獲取方法和裝置、存儲(chǔ)介質(zhì)、電子設(shè)備。

根據(jù)本公開實(shí)施例的一個(gè)方面，提供了一種聲音信號(hào)獲取方法，包括：

獲取空間中的原始信號(hào)，所述原始信號(hào)是基于所述空間中的K個(gè)聲源發(fā)出的聲音信號(hào)確定的，所述K為聲源數(shù)量，且為大于或等于1的整數(shù)；

獲取所述K個(gè)聲源中每個(gè)聲源的圖像；

基于每個(gè)所述聲源的圖像和所述原始信號(hào)，確定所述K個(gè)聲源中目標(biāo)聲源的聲音信號(hào)。

根據(jù)本公開實(shí)施例的另一方面，提供了一種聲音信號(hào)獲取裝置，包括：

原始信號(hào)獲取模塊，用于獲取空間中的原始信號(hào)，所述原始信號(hào)是基于所述空間中的K個(gè)聲源發(fā)出的聲音信號(hào)確定的，所述K為聲源數(shù)量，且為大于或等于1的整數(shù)；

圖像采集模塊，用于獲取所述K個(gè)聲源中每個(gè)聲源的圖像；

目標(biāo)信號(hào)獲取模塊，用于基于所述圖像采集模塊獲得的所述每個(gè)聲源的圖像和所述原始信號(hào)獲取模塊獲取的原始信號(hào)，確定所述K個(gè)聲源中目標(biāo)聲源的聲音信號(hào)。

根據(jù)本公開實(shí)施例的又一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于執(zhí)行上述實(shí)施例所述的聲音信號(hào)獲取方法。

根據(jù)本公開實(shí)施例的還一方面，提供了一種電子設(shè)備，所述電子設(shè)備包括：

處理器；

用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；

所述處理器，用于執(zhí)行上述實(shí)施例所述的聲音信號(hào)獲取方法。

基于本公開上述實(shí)施例提供的聲音信號(hào)獲取方法和裝置、存儲(chǔ)介質(zhì)、電子設(shè)備，獲取空間中的原始信號(hào)，所述原始信號(hào)是基于所述空間中的K個(gè)聲源發(fā)出的聲音信號(hào)確定的，所述K為聲源數(shù)量，且為大于或等于1的整數(shù)；獲取所述K個(gè)聲源中每個(gè)聲源的圖像；基于每個(gè)所述聲源的圖像和所述原始信號(hào)，確定所述K個(gè)聲源中目標(biāo)聲源的聲音信號(hào)，本公開除了獲取聲音信號(hào)本身，還獲取了額外的體現(xiàn)為聲源的圖像的視覺信息，結(jié)合聲音信號(hào)和圖像信息實(shí)現(xiàn)實(shí)時(shí)獲取期望信號(hào)，由于加入了圖像的視覺信息，因此可直觀獲得空間當(dāng)前環(huán)境的復(fù)雜程度，進(jìn)而可提高目標(biāo)聲源的聲音信號(hào)的準(zhǔn)確性和完整性。

下面通過附圖和實(shí)施例，對本公開的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

附圖說明