[發(fā)明專利]語音交互方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202011215655.2
• 申請日: 2020-11-04
• 公開（公告）號(hào): CN112397065A
• 公開（公告）日: 2021-02-23
• 發(fā)明（設(shè)計(jì)）人: 朱長寶
• 申請（專利權(quán)）人: 深圳地平線機(jī)器人科技有限公司
• 主分類號(hào): G10L15/22
• 分類號(hào): G10L15/22;G10L15/26;G10L15/25;G10L15/06;G06N20/00
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種語音交互方法，包括：

獲取目標(biāo)空間內(nèi)的攝像設(shè)備拍攝的視頻和至少一個(gè)音頻采集設(shè)備采集的至少一路音頻；

基于所述至少一路音頻，確定所述目標(biāo)空間內(nèi)的每個(gè)音區(qū)分別對應(yīng)的待識(shí)別音頻；

基于所述視頻和所述至少一路待識(shí)別音頻，從所述目標(biāo)空間確定目標(biāo)音區(qū)；

對得到的至少一路待識(shí)別音頻進(jìn)行語音識(shí)別，得到識(shí)別結(jié)果；

控制所述目標(biāo)音區(qū)的語音交互設(shè)備基于所述識(shí)別結(jié)果在預(yù)設(shè)模式下進(jìn)行語音交互。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述控制所述目標(biāo)音區(qū)的語音交互設(shè)備基于所述識(shí)別結(jié)果在預(yù)設(shè)模式下進(jìn)行語音交互，包括：

從所述目標(biāo)空間中確定需要進(jìn)行語音控制的音區(qū)；

確定所述需要進(jìn)行語音控制的音區(qū)與所述目標(biāo)音區(qū)的位置關(guān)系；

基于所述位置關(guān)系，控制所述目標(biāo)音區(qū)的語音交互設(shè)備基于所述識(shí)別結(jié)果在預(yù)設(shè)模式下進(jìn)行語音交互。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述至少一路音頻，確定所述目標(biāo)空間內(nèi)的每個(gè)音區(qū)分別對應(yīng)的待識(shí)別音頻，包括：

對所述至少一路音頻中的每路音頻進(jìn)行預(yù)處理，得到至少一路預(yù)處理音頻；

若所述至少一路音頻的數(shù)量為一路，將所得到的預(yù)處理音頻確定為每個(gè)音區(qū)對應(yīng)的待識(shí)別音頻；

若所述至少一路音頻的數(shù)量為至少兩路，對得到的至少兩路預(yù)處理音頻進(jìn)行盲源分離，得到至少兩路分離后音頻；

對所述至少兩路分離后音頻和至少兩路預(yù)處理音頻進(jìn)行匹配，得到所述目標(biāo)空間內(nèi)的每個(gè)音區(qū)分別對應(yīng)的待識(shí)別音頻。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述對所述至少兩路分離后音頻和至少兩路預(yù)處理音頻進(jìn)行匹配，得到所述目標(biāo)空間內(nèi)的每個(gè)音區(qū)分別對應(yīng)的待識(shí)別音頻，包括：

基于所述至少兩路分離后音頻和所述至少兩路預(yù)處理音頻，確定相似矩陣，其中，所述相似矩陣中的元素用于表征所述分離后音頻和所述預(yù)處理音頻之間的相似性；

基于所述相似矩陣，確定所述分離后音頻與所述目標(biāo)空間內(nèi)的音區(qū)的對應(yīng)關(guān)系；

根據(jù)所述對應(yīng)關(guān)系，確定所述目標(biāo)空間內(nèi)的每個(gè)音區(qū)分別對應(yīng)的待識(shí)別音頻。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述視頻和所述至少一路待識(shí)別音頻，從所述目標(biāo)空間確定目標(biāo)音區(qū)，包括：

對所述視頻中的圖像幀進(jìn)行目標(biāo)對象識(shí)別，得到所述目標(biāo)空間中的每個(gè)音區(qū)分別對應(yīng)的第一識(shí)別結(jié)果；

基于所述每個(gè)音區(qū)分別對應(yīng)的第一識(shí)別結(jié)果，從所述目標(biāo)空間中確定目標(biāo)音區(qū)。

6.根據(jù)權(quán)利要求5所述的方法，其中，所述基于所述每個(gè)音區(qū)分別對應(yīng)的第一識(shí)別結(jié)果，從所述目標(biāo)空間中確定目標(biāo)音區(qū)，包括：

確定所述每個(gè)音區(qū)分別對應(yīng)的第一識(shí)別結(jié)果是否表征存在目標(biāo)對象；

若表征存在所述目標(biāo)對象，確定所述第一識(shí)別結(jié)果對應(yīng)的音區(qū)為目標(biāo)音區(qū)；

若表征不存在目標(biāo)對象，且所述第一識(shí)別結(jié)果對應(yīng)的音區(qū)具有對應(yīng)的語音信號(hào)，基于所述語音信號(hào)識(shí)別是否存在所述目標(biāo)對象，若存在，確定所述語音信號(hào)對應(yīng)的音區(qū)為目標(biāo)音區(qū)。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述對得到的至少一路待識(shí)別音頻進(jìn)行語音識(shí)別，包括：

對所述至少一路待識(shí)別音頻進(jìn)行喚醒詞識(shí)別；以及

所述控制所述目標(biāo)音區(qū)的語音交互設(shè)備基于所述識(shí)別結(jié)果在預(yù)設(shè)模式下進(jìn)行語音交互，包括：

確定預(yù)設(shè)時(shí)長內(nèi)識(shí)別出所述目標(biāo)音區(qū)對應(yīng)的音頻中的喚醒詞的次數(shù)；

如果所述次數(shù)達(dá)到預(yù)設(shè)次數(shù)，啟動(dòng)目標(biāo)對象禁止模式，其中，所述目標(biāo)對象禁止模式用于禁止目標(biāo)對象對目標(biāo)設(shè)備進(jìn)行預(yù)設(shè)控制類別的語音控制。