[發明專利]一種視聽雙模態的360度全方位說話人定位方法

有效

• 申請號: 202110504371.3
• 申請日: 2021-05-10
• 公開（公告）號: CN113312985B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 劉振燾;龍映佐;吳敏;曹衛華;陳略峰;蹇櫟為
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06V40/16
• 分類號: G06V40/16;G01S5/22;G06V10/80
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 萬文廣

本發明公開了一種視聽雙模態的360度全方位說話人定位方法，所述方法包括：啟用環形麥克風陣列接收聲音信號并進行聲音信息降維和聲源粗定位；依據聲源粗定位結果啟用環形攝像頭組中部分攝像頭進行圖像拼接決策和利用處理后的攝像畫面進行視覺空間定位；使用信息融合方法完成視聽雙模態融合定位，本發明可以在360全方位的環境下準確高效的定位到目標說話人。

技術領域

本發明涉及說話人定位的技術領域，具體涉及一種視聽雙模態的360度全方位說話人定位方法。

背景技術

隨著互聯網、移動智能終端和智能機器人的快速發展，人與機器之間的交互也越來越頻繁，以人為中心、自然、高效是發展新一代人機交互方式的主要目標。而在實際的人機交互系統中，目標定位功能是交互系統中的第一個需要解決的重要問題。獲取了目標用戶位置后，機器可以進行后續的定向語音識別、情感識別以及為用戶提供定向服務等操作，且交互系統可以在期望方向上拾取更準確的目標信息，從而提供精準的服務和反饋。

現有的目標說話人定位方法往往依賴于計算機視覺或是基于計算機聽覺的方法，這些單模態的定位方法容易受到噪聲、光線等環境因素的影響，系統的可靠性較低。

一些方法把圖像和聲源進行融合，但這些方法往往受限于定位設備的有限的定位方位角，無法對其他位置的說話人進行定位。

已公開的改進方案注重利用麥克風或者其他傳感器進行輔助定位，之后利用轉動平臺等帶動攝像頭進行視覺空間定位。但這些方法存在一定的定位延時，如果目標說話人移位則定位效率、定位精度都存在不確定性。

已公開的全景深度圖像拼接生成方法往往需要大量的時間完成，對說話人定位的時效性存在不利影響。

在基于計算機視覺的人臉圖像定位中，當人臉位于圖像中心區域附近時定位效果好，而遠離中心區域時，定位精度會明顯降低，甚至出現定位錯誤。

在基于線性麥克風陣列的說話人定位中，當說話人的方位與線性麥克風陣列的中垂線接近時，定位效果好；而當說話人遠離線性麥克風的中垂線時，定位精度會明顯降低，甚至出現定位錯誤。

發明內容

有鑒于此，本發明提供了一種視聽雙模態的360度全方位說話人定位方法，包括以下步驟：

S1、依據說話人語音信號到達環形麥克風陣列所在圓直徑的麥克風上的時間差，獲取聲源信息降維；利用降維后的聲源信息對目標說話人進行聲源粗定位；

S2、圖像拼接決策與視覺空間定位：基于所述聲源粗定位的結果判斷說話人是否位于說話人所在方位最近兩枚攝像頭的攝像畫面交接區域，并決策開啟的所述環形攝像頭組中攝像頭的方位、數量以及是否進行圖像拼接；之后基于所述圖像拼接處理后的攝像畫面進行視覺空間定位；

S3、多模態融合定位：基于所述聲源粗定位和視覺空間定位中對說話人的定位結果，進行視聽模態的決策級融合，計算出視聽模態融合定位結果。

實施本發明的技術方案帶來的有益效果是：本發明可以在360全方位的環境下準確高效的定位到目標說話人。

附圖說明

圖1為本發明所述視聽雙模態的360度全方位說話人定位方法的流程圖；

圖2為語音信號過環形麥克風陣列所在圓直徑的麥克風的示意圖；

圖3為攝像畫面的交接區域示意圖。

具體實施方式

本發明是為了解決現有基于現有的單模態說話人定位方法可靠性低，以及現有的多模態說話人定位方法受限于有限的定位方位角、需要依賴轉動平臺才能完成定位的問題，提出了一種視聽雙模態的360度全方位說話人定位方法。

請參考圖1，一種視聽雙模態的360度全方位說話人定位方法，包括以下步驟：