[發明專利]基于視頻跟蹤的麥克風陣列聲源定位方法、裝置及系統

在審

• 申請號: 201210475401.3
• 申請日: 2012-11-21
• 公開（公告）號: CN103841357A
• 公開（公告）日: 2014-06-04
• 發明（設計）人: 孫濤
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;G06K9/00;H04R3/00
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種基于視頻跟蹤的麥克風陣列聲源定位方法，其特征在于，包括：

統計麥克風陣列中多個麥克風獲取當前語音的時間差信息；

依據所述時間差信息以及多個麥克風的位置信息獲取當前聲源的大致位置信息；

依據所述大致位置信息對攝像機執行第一次聲源跟蹤控制，以進行視頻采集并執行人臉檢測；

依據人臉檢測結果對攝像機執行第二次聲源跟蹤控制，以將當前發言人的人臉圖像置于當前視頻圖像的中間位置。

2.如權利要求1所述的基于視頻跟蹤的麥克風陣列聲源定位方法，其特征在于，依據所述時間差信息以及多個麥克風的位置信息獲取當前聲源的大致位置信息的方法為：

利用所述時間差信息以及和麥克風陣列中多個麥克風與攝像機之間的位置關系構造多個雙曲面，并通過計算多個雙曲面的交點得到當前聲源的大致位置信息。

3.如權利要求1所述的基于視頻跟蹤的麥克風陣列聲源定位方法，其特征在于，依據人臉檢測結果對攝像機執行第二次聲源跟蹤控制，以將當前發言人的人臉圖像置于當前視頻圖像的中間位置的方法為：

依據預設的發言者姿態模型對采集的多個人臉圖像進行篩選，得到當前發言人人臉圖像；

依據所述當前發言人所處的位置對攝像機執行第二次聲源跟蹤控制，以將該當前發言人的人臉圖像置于當前視頻畫面的中間位置。

4.一種基于視頻跟蹤的麥克風陣列聲源定位裝置，其特征在于，包括：

時延計算模塊，用于統計麥克風陣列中多個麥克風獲取當前語音的時間差信息；

位置估算模塊，用于依據所述時間差信息以及多個麥克風的位置信息獲取當前聲源的大致位置信息；

攝像機控制模塊，用于依據所述大致位置信息對攝像機執行第一次聲源跟蹤控制，以進行視頻采集；

人臉識別模塊，用于對采集的視頻圖像執行人臉檢測；

位置校正模塊，用于依據人臉檢測結果對攝像機執行第二次聲源跟蹤控制，以將當前發言人的人臉圖像置于當前視頻圖像的中間位置。

5.如權利要求4所述的基于視頻跟蹤的麥克風陣列聲源定位裝置，其特征在于，位置估算模塊利用所述時間差信息以及和麥克風陣列中多個麥克風與攝像機之間的位置關系構造多個雙曲面，并通過計算多個雙曲面的交點得到當前聲源的大致位置信息。

6.如權利要求4所述的基于視頻跟蹤的麥克風陣列聲源定位裝置，其特征在于，位置校正模塊包括：

篩選模塊，用于依據預設的發言者姿態模型對采集的多個人臉圖像進行篩選，得到當前發言人人臉圖像；

執行模塊，用于依據所述當前發言人所處的位置對攝像機執行第二次聲源跟蹤控制，以將該當前發言人的人臉圖像置于當前視頻圖像的中間位置。

7.一種電視會議系統，包括：

麥克風陣列，用于采集語音信息；

攝像機，用于采集會場視頻信息；

顯示裝置，用于播放當前會場視頻圖像；

其特征在于，所述電視會議系統還包括：

基于視頻跟蹤的麥克風陣列聲源定位裝置，所述裝置包括：

時延計算模塊，用于統計麥克風陣列中多個麥克風獲取當前語音的時間差信息；

位置估算模塊，用于依據所述時間差信息以及多個麥克風的位置信息獲取當前聲源的大致位置信息；

攝像機控制模塊，用于依據所述大致位置信息對攝像機執行第一次聲源跟蹤控制，以進行視頻采集；

人臉識別模塊，用于對采集的視頻圖像執行人臉檢測；

位置校正模塊，用于依據人臉檢測結果對攝像機執行第二次聲源跟蹤控制，以將當前發言人的人臉圖像置于當前視頻圖像的中間位置。

8.如權利要求7所述的電視會議系統，其特征在于，位置估算模塊利用所述時間差信息以及和麥克風陣列中多個麥克風與攝像機之間的位置關系構造多個雙曲面，并通過計算多個雙曲面的交點得到當前聲源的大致位置信息。

9.如權利要求7所述的電視會議系統，其特征在于，位置校正模塊包括：

篩選模塊，用于依據預設的發言者姿態模型對采集的多個人臉圖像進行篩選，得到當前發言人人臉圖像；

執行模塊，用于依據所述當前發言人所處的位置對攝像機執行第二次聲源跟蹤控制，以將該當前發言人的人臉圖像置于當前視頻圖像的中間位置。