[發明專利]使用多模匹配方案的對象辨識

有效

• 申請號: 201380019248.6
• 申請日: 2013-03-07
• 公開（公告）號: CN104246796B
• 公開（公告）日: 2018-04-17
• 發明（設計）人: 埃里克·維瑟;王海音;哈西卜·A·西迪基;金萊軒
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06T7/207;G06T7/292;H04R3/00
• 代理公司: 北京律盟知識產權代理有限責任公司11287
• 代理人: 宋獻濤

1.一種由裝置辨識場景中的對象的方法，所述方法包括：

從在場景處記錄的音頻計算多個聲學辨識特征；以及

將所述聲學辨識特征與對應于一或多個對象的預定聲學辨識特征進行比較以確定對象的聲音源類型；

基于所述聲音源類型選擇所述對象中的穩定關鍵點；以及

基于選定關鍵點和所述聲音源類型識別所述對象。

2.根據權利要求1所述的方法，其進一步包括：

基于在所述場景處記錄的音頻選擇對應于一或多個對象的一或多個關鍵點標志；

識別所述場景的圖像中的多個關鍵點；以及

將所述關鍵點與所述關鍵點標志進行比較以識別所述對象。

3.根據權利要求1所述的方法，其進一步包括：

基于在所述場景處記錄的所述音頻選擇場景圖像的一部分；以及

僅從所述圖像的所述部分內選擇所述關鍵點。

4.根據權利要求3所述的方法，其中基于在所述場景處記錄的所述音頻選擇所述圖像的一部分包含：

從所述音頻確定音頻到達方向DOA；以及

基于所述音頻DOA選擇所述圖像的所述部分。

5.根據權利要求4所述的方法，其中確定所述音頻DOA包含：

在位于所述場景處的多個麥克風處接收所述音頻，借此產生多個麥克風信號；以及

基于所述麥克風信號確定所述音頻DOA。

6.根據權利要求1所述的方法，其進一步包括：

從所述場景的視頻記錄計算多個局部運動向量；以及

通過將所述局部運動向量與對應于一或多個對象的預定局部運動向量數據庫進行比較且通過將所述關鍵點與一或多個關鍵點標志進行比較來識別所述對象。

7.根據權利要求1所述的方法，其中基于將所述關鍵點與一或多個關鍵點標志進行比較來識別所述對象。

8.根據權利要求7所述的方法，其中所述聲學辨識特征包含梅爾頻率倒譜系數。

9.根據權利要求1所述的方法，其進一步包括：

確定出現在圖像中的一或多個對象的范圍信息；以及

基于所述范圍信息分析所述關鍵點。

10.根據權利要求9所述的方法，其中確定范圍信息是選自由以下各項組成的群組：

使用自動聚焦相機確定范圍信息，使用多相機圖像視差估計確定范圍信息，和前述各項的任一組合。

11.一種辨識場景中的對象的設備，其包括：

音頻處理器，其經配置以從在場景處記錄的音頻計算多個聲學辨識特征；

關鍵點選擇器，其經配置以基于聲音源類型選擇對象中的穩定關鍵點；以及

匹配裝置，其經配置以基于選定關鍵點且將所述聲學辨識特征與對應于一或多個對象的預定聲學辨識特征數據庫進行比較以確定所述對象的所述聲音源類型來識別所述對象。

12.根據權利要求11所述的設備，其進一步包括：

關鍵點檢測器，其經配置以識別場景的圖像中的多個關鍵點；

其中所述關鍵點選擇器經配置以基于在所述場景處記錄的音頻選擇對應于一或多個對象的一或多個關鍵點標志；以及

其中所述匹配裝置經配置以將所述關鍵點與所述關鍵點標志進行比較以識別所述場景中的對象。

13.根據權利要求11所述的設備，其進一步包括：

第一選擇器，其經配置以基于在所述場景處記錄的所述音頻選擇所述場景的圖像的一部分；以及

第二選擇器，其經配置以僅從所述圖像的所述部分內選擇所述關鍵點。

14.根據權利要求13所述的設備，其中所述第一選擇器包含：

檢測器，其經配置以從所述音頻確定音頻到達方向DOA；以及

第三選擇器，其經配置以基于所述音頻DOA選擇所述圖像的所述部分。

15.根據權利要求14所述的設備，其中所述檢測器包含：

位于所述場景處的用于接收所述音頻的多個麥克風，其產生多個麥克風信號；以及

音頻處理器，其經配置以基于所述麥克風信號確定所述音頻DOA。