[發明專利]多模態語音識別方法、系統及計算機可讀存儲介質

有效

• 申請號: 202110913351.1
• 申請日: 2021-08-10
• 公開（公告）號: CN113744731B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 林峰;劉天天;高銘;王超;巴鐘杰;韓勁松;許文曜;任奎
• 申請（專利權）人: 浙江大學
• 主分類號: G10L15/20
• 分類號: G10L15/20;G10L15/16;G10L15/02
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 王愛濤

本發明公開了一種多模態語音識別方法、系統及計算機可讀存儲介質，該方法包括：當目標毫米波信號和目標音頻信號均包含目標用戶對應的人聲信息時，計算第一對數梅爾頻譜系數和第二對數梅爾頻譜系數，并將第一對數梅爾頻譜系數和第二對數梅爾頻譜系數輸入到融合網絡中，以確定目標融合特征；融合網絡至少包括校準模塊和映射模塊；校準模塊用于目標音頻信號和目標毫米波信號進行相互特征校準；映射模塊用于對校準后的毫米波特征和所述校準后的音頻特征進行融合處理；將目標融合特征輸入到語義特征網絡中，以確定目標用戶對應的語音識別結果。本發明能夠達到高準確率語音識別的目的。

技術領域

本發明涉及語音識別技術領域，特別是涉及一種多模態語音識別方法、系統及計算機可讀存儲介質。

背景技術

語音交互在智能交互場景中起著至關重要的作用，例如智能家居。語音交互提供了人與物聯網設備之間的非接觸式的人機交互。受益于深度學習和自然語言處理的發展，自動語音識別技術使語音交互的設備能準確獲取用戶說話內容。近年來，商用語音交互產品越來越受歡迎，例如智能揚聲器(例如Amazon?Echo和Google?Home)、智能手機中的語音助手(例如Siri)以及車載語音控制交互(例如，特斯拉Model?S/X/3/Y中的語音交互)。

然而，除了家庭場景以外，現如今的語音交互也需要解決公共場所(如街道、車站、大廳或聚會等)中更多樣化的環境噪聲(如交通噪聲、商業噪聲和附近的聲音)。然而，基于麥克風陣列和音頻的語音識別技術，要求音頻信號是高信噪比且清晰的音頻信號。因此，在噪音環境中，淹沒在不可預測的噪音中的音頻信號變得難以識別。此外，隨著識別距離增長，語音質量也會逐漸衰減，從而影響識別準確率。為了解決上述這些困難，研究人員現利用多傳感器信息融合進行語音增強和識別。比如，視聽方法，將攝像機捕捉到的嘴唇運動與嘈雜的聲音相結合，但受到照明條件、視線要求或遮擋的限制。超聲輔助語音增強技術的工作距離雖然極短(20cm以內)，但是要求特定的姿勢。

發明內容

本發明的目的是提供一種多模態語音識別方法、系統及計算機可讀存儲介質，以達到高準確率語音識別的目的。

為實現上述目的，本發明提供了如下方案：

一種多模態語音識別方法，包括：

獲取目標毫米波信號和目標音頻信號；

當所述目標毫米波信號和所述目標音頻信號均包含目標用戶對應的人聲信息時，計算第一對數梅爾頻譜系數和第二對數梅爾頻譜系數；所述第一對數梅爾頻譜系數是根據所述目標毫米波信號確定的，所述第二對數梅爾頻譜系數是根據所述目標音頻信號確定的；

將所述第一對數梅爾頻譜系數和所述第二對數梅爾頻譜系數輸入到融合網絡中，以確定目標融合特征；所述融合網絡至少包括校準模塊和映射模塊；所述校準模塊用于根據所述目標音頻信號對所述目標毫米波信號進行特征校準處理，根據所述目標毫米波信號對所述目標音頻信號進行特征校準處理，以獲取校準后的毫米波特征和校準后的音頻特征；所述映射模塊用于對所述校準后的毫米波特征和所述校準后的音頻特征進行融合處理，以得到目標融合特征；

將所述目標融合特征輸入到語義特征網絡中，以確定所述目標用戶對應的語音識別結果。

可選的，所述獲取目標毫米波信號和目標音頻信號，具體包括：

獲取毫米波雷達采集的目標毫米波信號；

獲取麥克風采集的目標音頻信號。

可選的，所述當所述目標毫米波信號和所述目標音頻信號均包含目標用戶對應的人聲信息時，計算第一對數梅爾頻譜系數和第二對數梅爾頻譜系數，具體包括：

判斷所述目標毫米波信號和所述目標音頻信號是否均包括人聲信息，得到第一判斷結果；