[發明專利]語音信號處理方法、裝置、可讀存儲介質及電子設備

在審

• 申請號: 202310035251.2
• 申請日: 2023-01-10
• 公開（公告）號: CN116013262A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 李文鵬;潘復平;朱長寶
• 申請（專利權）人: 北京地平線機器人技術研發有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/16;G10L15/04;G06T7/00
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 靳濤濤

1.一種語音信號處理方法，包括：

獲取目標空間內的語音信號和圖像序列；

基于所述語音信號，通過第一語音處理方式，從所述語音信號中提取第一語音片段信號；

基于所述語音信號和所述圖像序列，通過第二語音處理方式，從所述語音信號中提取第二語音片段信號；

確定當前的語音信號處理狀態是否符合語音信號輸出條件；

響應于所述語音信號處理狀態符合所述語音信號輸出條件，確定所述圖像序列的圖像質量信息；

基于所述圖像序列的圖像質量信息，從所述第一語音片段信號和所述第二語音片段信號中確定目標語音片段信號，并輸出所述目標語音片段信號。

2.根據權利要求1所述的方法，其中，所述基于所述語音信號和所述圖像序列，通過第二語音處理方式，從所述語音信號中提取第二語音片段信號，包括：

基于預設的音頻特征提取網絡，確定所述語音信號的音頻特征數據；

基于預設的圖像序列特征提取網絡，確定所述圖像序列的圖像序列特征數據；

將所述音頻特征數據和所述圖像序列特征數據合并，并將合并后的數據輸入預先訓練的特征融合網絡，得到掩碼數據；

基于所述掩碼數據，從所述語音信號中提取所述第二語音片段信號。

3.根據權利要求1所述的方法，其中，所述確定當前的語音信號處理狀態是否符合語音信號輸出條件，包括：

確定當前是否存在按照當前的輸出通道對應的語音處理方式正在處理的語音片段信號；

響應于當前不存在按照當前的輸出通道對應的語音處理方式正在處理的語音片段信號，確定當前的語音信號處理狀態符合語音信號輸出條件。

4.根據權利要求1所述的方法，其中，所述確定所述圖像序列的圖像質量信息，包括：

對于所述圖像序列中的每幀圖像，確定該圖像中是否包含用戶的目標部位；

響應于該圖像不包含所述目標部位，生成表示該圖像的圖像質量不合格的第一圖像質量信息；

響應于該圖像包含所述目標部位，確定所述目標部位的可識別度；

響應于確定所述可識別度符合可識別條件，生成表示該圖像的圖像質量合格的第二圖像質量信息；

響應于確定所述可識別度不符合所述可識別條件，生成表示該圖像的圖像質量不合格的第一圖像質量信息；

基于得到的第一圖像質量信息的數量和第二圖像質量信息的數量，確定所述圖像序列的圖像質量信息。

5.根據權利要求4所述的方法，其中，所述確定所述目標部位的可識別度，包括：

從該圖像中確定包含所述目標部位的目標區域；

利用預先訓練的目標部位質量檢測模型，對所述目標區域進行圖像質量檢測，得到所述目標部位的可識別度。

6.根據權利要求1所述的方法，其中，所述基于所述圖像序列的圖像質量信息，從所述第一語音片段信號和所述第二語音片段信號中確定目標語音片段信號，并輸出所述目標語音片段信號，包括：

響應于所述圖像序列的圖像質量信息表示所述圖像序列的整體質量合格，確定所述第二語音片段信號為所述目標語音片段信號；

響應于所述圖像序列的圖像質量信息表示所述圖像序列的整體質量不合格，確定所述第一語音片段信號為所述目標語音片段信號。

7.一種語音信號處理裝置，包括：

獲取模塊，用于獲取目標空間內的語音信號和圖像序列；

第一提取模塊，用于基于所述語音信號，通過第一語音處理方式，從所述語音信號中提取第一語音片段信號；

第二提取模塊，用于基于所述語音信號和所述圖像序列，通過第二語音處理方式，從所述語音信號中提取第二語音片段信號；

第一確定模塊，用于確定當前的語音信號處理狀態是否符合語音信號輸出條件；

第二確定模塊，用于響應于所述語音信號處理狀態符合所述語音信號輸出條件，確定所述圖像序列的圖像質量信息；

輸出模塊，用于基于所述圖像序列的圖像質量信息，從所述第一語音片段信號和所述第二語音片段信號中確定目標語音片段信號，并輸出所述目標語音片段信號。