[發(fā)明專利]一種遠(yuǎn)距離目標(biāo)的實(shí)時(shí)多視角協(xié)同定位頭盔及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011213626.2
• 申請(qǐng)日: 2020-11-04
• 公開（公告）號(hào): CN112393722B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 邢可;陳彥璋;倪勇;李朝春;劉揚(yáng)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)船舶重工集團(tuán)公司第七一六研究所
• 主分類號(hào): G01C21/16
• 分類號(hào): G01C21/16;G01C21/20;G01S19/33;G01S19/47
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 陳鵬

本發(fā)明公開了一種遠(yuǎn)距離目標(biāo)的實(shí)時(shí)多視角協(xié)同定位頭盔及方法，所述頭盔由邊緣嵌入式系統(tǒng)和外圍設(shè)備組成；邊緣嵌入式系統(tǒng)是一塊主控板，主控板上集成主控芯片、眼動(dòng)模塊、陀螺儀模塊、定位模塊以及通信模塊，主控板外接外圍設(shè)備：VR眼鏡和相機(jī)；所述方法包括：觀察者佩戴所述頭盔；同一時(shí)刻兩個(gè)或多個(gè)觀察者同時(shí)看到目標(biāo)，由定位模塊獲得每個(gè)觀察者的位置信息；結(jié)合眼動(dòng)模塊和陀螺儀模塊獲得頭部運(yùn)動(dòng)和眼球運(yùn)動(dòng)姿態(tài)信息，構(gòu)建幾何模型求得視線方向；從兩個(gè)或多觀察者中確認(rèn)一個(gè)主觀察者，運(yùn)用三角法構(gòu)建幾何模型計(jì)算出目標(biāo)的三維坐標(biāo)；將得到的目標(biāo)的三維坐標(biāo)投射到這個(gè)觀察者的AR眼鏡的屏幕上顯示。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)定位技術(shù)領(lǐng)域，尤其涉及一種遠(yuǎn)距離目標(biāo)的實(shí)時(shí)多視角協(xié)同定位頭盔及方法。

背景技術(shù)

雙目定位是近距離目標(biāo)定位場(chǎng)景下一種常用的算法，它是利用三角測(cè)量的方法估計(jì)出圖像的深度。雙目定位的深度由兩個(gè)相機(jī)之間的距離(基線)相關(guān)，基線越長(zhǎng)，雙目能測(cè)到的最大距離越遠(yuǎn)。雙目相機(jī)的基線有限，通常能測(cè)量的最遠(yuǎn)距離只有數(shù)十米。

當(dāng)目標(biāo)距離觀察者比較遠(yuǎn)，無(wú)法利用雙目定位來(lái)精確定位目標(biāo)位置的時(shí)候，我們可以利用單目定位或多個(gè)觀察者的多視角交叉定位來(lái)定位目標(biāo)的位置。相對(duì)于單視角定位，多視角協(xié)同定位將多個(gè)視角同時(shí)定位到同一個(gè)目標(biāo)，可以增加定位的精度和置信度。

多視角目標(biāo)定位的常見模型和算法包括：基于貝葉斯特征融合的多攝像機(jī)跟蹤算法；利用粒子濾波器進(jìn)行多視角目標(biāo)跟蹤；基于隱馬爾科夫過(guò)程和粒子濾波器的協(xié)同目標(biāo)跟蹤算法等。

常用的多視角目標(biāo)定位模型和算法都需要將相機(jī)采集的圖像傳輸?shù)街醒胩幚砥鬟M(jìn)行集中處理，需要極高的網(wǎng)絡(luò)帶寬，對(duì)系統(tǒng)計(jì)算能力要求極高，還存在延時(shí)的問(wèn)題，很難在分布式網(wǎng)絡(luò)和邊緣端嵌入式系統(tǒng)中實(shí)現(xiàn)。

多視角目標(biāo)定位需要采集到觀察者的視線方向，而視線方向的確定涉及到另一項(xiàng)技術(shù)——視線追蹤。視線追蹤技術(shù)是一項(xiàng)利用人類眼球運(yùn)動(dòng)信息來(lái)控制設(shè)備的技術(shù)，在軍事、虛擬現(xiàn)實(shí)等領(lǐng)域有著廣泛的應(yīng)用。視線估計(jì)算法是視線追蹤技術(shù)中的一種從眼睛圖片或人臉圖片中推導(dǎo)出人的視線方向的算法，視線估計(jì)算法的優(yōu)劣直接關(guān)系到視線追蹤的精度。視線估計(jì)算法有幾何和基于外觀(神經(jīng)網(wǎng)絡(luò))兩種方法，基于神經(jīng)網(wǎng)絡(luò)的方法對(duì)于低分辨率圖像表現(xiàn)好，但計(jì)算量大、需要大量數(shù)據(jù)訓(xùn)練標(biāo)定，基于幾何的方法一般不考慮頭部運(yùn)動(dòng)，在頭部運(yùn)動(dòng)范圍較大的情況下誤差較大。

發(fā)明內(nèi)容

本發(fā)明的目的在于一種提供遠(yuǎn)距離目標(biāo)的實(shí)時(shí)多視角協(xié)同定位頭盔及方法，旨在解決遠(yuǎn)距離目標(biāo)定位場(chǎng)景下，網(wǎng)絡(luò)通信能力和邊緣系統(tǒng)計(jì)算能力要求高、需要大量數(shù)據(jù)訓(xùn)練標(biāo)定的問(wèn)題。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案為：一種遠(yuǎn)距離目標(biāo)的實(shí)時(shí)多視角協(xié)同定位頭盔，所述頭盔由邊緣嵌入式系統(tǒng)和外圍設(shè)備組成；邊緣嵌入式系統(tǒng)是一塊主控板，主控板上集成主控芯片、眼動(dòng)模塊、陀螺儀模塊、定位模塊以及通信模塊，主控板外接外圍設(shè)備：VR眼鏡和相機(jī)；

主控芯片用于將相機(jī)拍攝的圖像實(shí)時(shí)傳遞給AR眼鏡上的屏幕進(jìn)行顯示；同時(shí)控制圖像刷新的幀率，并將檢測(cè)到的目標(biāo)的三維坐標(biāo)轉(zhuǎn)化成AR成像坐標(biāo)標(biāo)注在AR眼鏡上的屏幕上；

定位模塊用于實(shí)時(shí)獲取世界坐標(biāo)系下的三維位置坐標(biāo)；

眼動(dòng)模塊用于獲得觀察者眼球運(yùn)動(dòng)的方向角；

陀螺儀模塊用于獲取頭部運(yùn)動(dòng)的方向角；

通信模塊用于向其他頭盔傳遞上述模塊獲取的信息。

進(jìn)一步的，所述定位模塊為GPS定位模塊或北斗導(dǎo)航模塊。

一種基于所述頭盔的遠(yuǎn)距離目標(biāo)的實(shí)時(shí)多視角協(xié)同定位方法，包括如下步驟：

兩個(gè)以上佩戴頭盔的觀察者同時(shí)看到目標(biāo)，由定位模塊獲取每個(gè)觀察者的位置信息；

同時(shí)，每個(gè)主控芯片結(jié)合眼動(dòng)模塊和陀螺儀模塊計(jì)算出姿態(tài)信息；