[發明專利]信號處理的方法和電子設備

在審

• 申請號: 202011065346.1
• 申請日: 2020-09-30
• 公開（公告）號: CN114333831A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 鮑光照;陳禮文;黃磊
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L21/0216;G10L21/028
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 張卿;時林

1.一種信號處理的方法，其特征在于，應用于電子設備，所述電子設備包括麥克風陣列和攝像頭，所述方法包括：

對通過所述麥克風陣列獲得的第一音頻信號進行聲源定位，獲得聲源方向信息；

對通過所述攝像頭獲得的第一視頻進行處理，獲得用戶方向信息；

根據所述聲源方向信息和所述用戶方向信息，確定目標聲源方向；

通過所述攝像頭獲得在所述目標聲源方向的用戶唇部視頻；

通過所述麥克風陣列獲得第二音頻信號；

根據所述第二音頻信號和所述用戶唇部視頻，通過語音增強模型，獲得第三音頻信號，所述語音增強模型包括發音和唇型的對應關系。

2.根據權利要求1所述的方法，其特征在于，所述電子設備還包括指向性麥克風，所述方法還包括：

通過所述指向性麥克風獲得在所述目標聲源方向的第四音頻信號；以及，

根據所述第二音頻信號和在所述目標聲源方向的用戶唇部視頻，通過語音增強模型，獲得第三音頻信號，包括：

根據所述第二音頻信號、所述第四音頻信號和所述用戶唇部視頻，通過所述語音增強模塊，獲得所述第三音頻信號。

3.根據權利要求1或2所述的方法，其特征在于，所述用戶方向信息包括以下至少一種類型的方向：

第一類方向，所述第一類方向包括至少一個處于活動狀態的唇部所在的方向；

第二類方向，所述第二類方向包括至少一個用戶所在的方向；

第三類方向，所述第三類方向包括至少一個正在注視所述電子設備的用戶所在的方向。

4.根據權利要求3所述的方法，其特征在于，所述聲源方向信息包括至少一個聲源方向，以及，

所述根據所述聲源方向信息和所述用戶方向信息，確定目標聲源方向，包括：

將所述至少一個聲源方向和所述至少一種類型的方向合并處理，獲得合并后的至少一個方向；

從所述至少一個方向中確定所述目標聲源方向。

5.根據權利要求4所述的方法，其特征在于，所述從所述至少一個方向中確定所述目標聲源方向，包括：

根據以下至少一個參數，從所述至少一個方向中確定所述目標聲源方向；

其中，所述至少一個參數包括：

所述至少一個方向中每個方向在所述聲源方向和所述至少一種類型的方向中被檢測到的頻率的總和；

在預設時段和所述每個方向對應的預設角度范圍內，所述電子設備是否和用戶成功進行過語音交互，所述預設時段是當前時間與歷史時間之間的時段；

所述每個方向與垂直于所述電子設備的顯示屏的方向之間的夾角。

6.根據權利要求5所述的方法，其特征在于，所述根據以下至少一個參數，從所述至少一個方向中確定所述目標聲源方向，包括：

根據所述至少一個參數，確定所述每個方向的置信度；

將所述至少一個方向中數值最大的置信度對應的方向確定為所述目標聲源方向。

7.根據權利要求1至6中任一項所述的方法，其特征在于，所述通過所述麥克風陣列獲得第二音頻信號，包括：

通過所述麥克風陣列，基于波束形成技術在所述目標聲源方向上獲得所述第二音頻信號。

8.根據權利要求1至7中任一項所述的方法，其特征在于，所述第一音頻信號為喚醒信號。

9.一種電子設備，其特征在于，包括麥克風陣列、攝像頭和處理器，所述處理器用于：

對通過所述麥克風陣列獲得的第一音頻信號進行聲源定位，獲得聲源方向信息；

對通過所述攝像頭獲得的第一視頻進行處理，獲得用戶方向信息；

根據所述聲源方向信息和所述用戶方向信息，確定目標聲源方向；

通過所述攝像頭獲得在所述目標聲源方向的用戶唇部視頻；

通過所述麥克風陣列獲得第二音頻信號；

根據所述第二音頻信號和所述用戶唇部視頻，通過語音增強模型，獲得第三音頻信號，所述語音增強模型包括發音和唇型的對應關系。