[發明專利]語音信號處理方法、裝置、可讀存儲介質及電子設備

在審

• 申請號: 202310035251.2
• 申請日: 2023-01-10
• 公開（公告）號: CN116013262A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 李文鵬;潘復平;朱長寶
• 申請（專利權）人: 北京地平線機器人技術研發有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/16;G10L15/04;G06T7/00
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 靳濤濤

本公開實施例公開了一種語音信號處理方法、裝置、可讀存儲介質及電子設備，其中，該方法包括：獲取目標空間內的語音信號和圖像序列；基于語音信號，通過第一語音處理方式，從語音信號中提取第一語音片段信號；基于語音信號和圖像序列，通過第二語音處理方式，從語音信號中提取第二語音片段信號；確定當前的語音信號處理狀態是否符合語音信號輸出條件；若符合語音信號輸出條件，確定圖像序列的圖像質量信息；基于圖像序列的圖像質量信息，從第一語音片段信號和第二語音片段信號中確定目標語音片段信號，并輸出目標語音片段信號。本公開實施例根據圖像質量有針對性地選擇輸出的語音片段信號的來源，進而有助于提高語音識別的準確性。

技術領域

本公開涉及計算機技術領域，尤其是一種語音信號處理方法、裝置、計算機可讀存儲介質及電子設備。

背景技術

傳統的語音識別技術僅對語音信號進行處理以得到識別結果，這種語音識別方法在語音清晰的環境下識別效果較好。然而，在一些高噪聲等復雜環境下，傳統的語音識別技術的識別率會迅速下降。為了提高語音識別率，目前存在借助唇部動作視頻協助進行語音識別的多模態語音識別方法，在一定程度上提高了高噪聲場景下語音的識別率。

但是，在實時語音交互系統中，在用戶的臉部被遮擋、臉部圖像不清晰等情況下，基于圖像識別得到的視覺特征成為無效的干擾輸入，多模態語音識別方法的性能會出現顯著下降，因此在視覺特征無效的情況下，如何將無效特征去除，只對有效的語音信號進行識別是需要解決的問題。

發明內容

為了解決上述技術問題，提出了本公開。本公開的實施例提供了一種語音信號處理方法、裝置、計算機可讀存儲介質及電子設備。

本公開的實施例提供了一種語音信號處理方法，該方法包括：獲取目標空間內的語音信號和圖像序列；基于語音信號，通過第一語音處理方式，從語音信號中提取第一語音片段信號；基于語音信號和圖像序列，通過第二語音處理方式，從語音信號中提取第二語音片段信號；確定當前的語音信號處理狀態是否符合語音信號輸出條件；響應于語音信號處理狀態符合語音信號輸出條件，確定圖像序列的圖像質量信息；基于圖像序列的圖像質量信息，從第一語音片段信號和第二語音片段信號中確定目標語音片段信號，并輸出目標語音片段信號。

根據本公開實施例的另一個方面，提供了一種語音信號處理裝置，該裝置包括：獲取模塊，用于獲取目標空間內的語音信號和圖像序列；第一提取模塊，用于基于語音信號，通過第一語音處理方式，從語音信號中提取第一語音片段信號；第二提取模塊，用于基于語音信號和圖像序列，通過第二語音處理方式，從語音信號中提取第二語音片段信號；第一確定模塊，用于確定當前的語音信號處理狀態是否符合語音信號輸出條件；第二確定模塊，用于響應于語音信號處理狀態符合語音信號輸出條件，確定圖像序列的圖像質量信息；輸出模塊，用于基于圖像序列的圖像質量信息，從第一語音片段信號和第二語音片段信號中確定目標語音片段信號，并輸出目標語音片段信號。

根據本公開實施例的另一個方面，提供了一種計算機可讀存儲介質，計算機可讀存儲介質存儲有計算機程序，計算機程序用于執行上述語音信號處理方法。

根據本公開實施例的另一個方面，提供了一種電子設備，電子設備包括：處理器；用于存儲處理器可執行指令的存儲器；處理器，用于從存儲器中讀取可執行指令，并執行指令以實現上述語音信號處理方法。