[發(fā)明專利]基于雙目PTZ相機(jī)的目標(biāo)定位方法

在審

• 申請?zhí)枺?/td>: 202110642192.6
• 申請日: 2021-06-09
• 公開（公告）號: CN113379848A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計）人: 徐友春;冒康;婁靜濤;朱愿;李永樂
• 申請（專利權(quán)）人: 中國人民解放軍陸軍軍事交通學(xué)院軍事交通運輸研究所
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 天津市三利專利商標(biāo)代理有限公司 12107
• 代理人: 閆俊芬

本發(fā)明涉及一種基于雙目PTZ相機(jī)的目標(biāo)定位方法，其特征是：標(biāo)定出雙目PTZ相機(jī)的任意角度和焦距下的內(nèi)外參，利用最小二乘法，實現(xiàn)對目標(biāo)的三維定位，具體步驟如下：步驟1：求解左右相機(jī)的任意焦距下的內(nèi)參矩陣K_l，K_r；步驟2：求解左右相機(jī)任意角度、焦距下相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣R_l、R_r及平移向量T_l、T_r；步驟3：求出世界坐標(biāo)系至左右相機(jī)像素坐標(biāo)系的單應(yīng)性矩陣H₁、H₂，根據(jù)同名點在左右像素坐標(biāo)系下的坐標(biāo)p_l(u_l,v_l)，p_r(u_r,v_r)，用最小二乘法求出目標(biāo)在世界坐標(biāo)系下的坐標(biāo)值。有益效果：本發(fā)明利用雙目PTZ相機(jī)通過變焦、旋轉(zhuǎn)而組成的立體視覺，可以實現(xiàn)在更大范圍、更遠(yuǎn)距離對目標(biāo)的三維定位，可以極大提升智能無人平臺的感知能力。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺感知定位技術(shù)，尤其涉及一種基于雙目PTZ相機(jī)的目標(biāo)定位方法。

背景技術(shù)

目前智能平臺感知模塊傳感器主要包括激光雷達(dá)、相機(jī)、雙目相機(jī)和毫米波雷達(dá)等，上述傳感器在感知能力上都存在一定的不足，如激光雷達(dá)雖然可以獲取準(zhǔn)確的深度信息，但價格昂貴，且遠(yuǎn)處點云比較稀疏，無紋理信息，易受灰塵顆粒物、大雨等影響；相機(jī)成本較低，并且可以提供豐富的紋理信息，但單目相機(jī)受限于小孔成像原理無法直接獲取目標(biāo)深度信息，易受光照條件氣候影響；傳統(tǒng)雙目相機(jī)雖然可以實現(xiàn)立體視覺，但基線較短導(dǎo)致遠(yuǎn)距離測距誤差較大，而且視野范圍固定，無法調(diào)整焦距、角度；毫米波雷達(dá)探測角度大，抗干擾能力強(qiáng)，但分別率和精度較低；毫米波雷達(dá)對障礙物的測速準(zhǔn)確，但噪點數(shù)據(jù)多，誤檢率高。

感知模塊作為無人操作機(jī)器人，尤其是無人車運用中的的四大關(guān)鍵技術(shù)之一，為定位和規(guī)劃模塊提供信息支持。感知的主要任務(wù)包括，城市環(huán)境下對紅綠燈、交通標(biāo)志的識別；城市及野外環(huán)境障礙物的檢測、識別、跟蹤和定位，以及障礙物的軌跡預(yù)測等。目前的無人車感知系統(tǒng)對距離較遠(yuǎn)的目標(biāo)感知能力偏弱，當(dāng)目標(biāo)距離較遠(yuǎn)時，激光雷達(dá)點云稀疏，紋理信息偏少；傳統(tǒng)相機(jī)和雙目相機(jī)無法變焦變姿，目標(biāo)在畫面中較小，像素數(shù)量少，紋理信息不豐富，且雙目相機(jī)測距精度偏低。尤其是野外戰(zhàn)場環(huán)境目標(biāo)距離遠(yuǎn)，現(xiàn)有傳感器很難對遠(yuǎn)距離目標(biāo)進(jìn)行精準(zhǔn)定位。部分自動駕駛車輛通過在車身多個方位安裝多個不同焦距的相機(jī)解決單目相機(jī)視場小、焦距固定的問題。如某具有自動駕駛功能的車輛，共安裝8個相機(jī)，這種方法造成一定資源浪費，而且計算單元計算資源消耗大。

PTZ相機(jī)是Pan/Tilt/Zoom的縮寫，代表相機(jī)可以全方位(左右/上下)移動及鏡頭變倍、變焦控制。雙目PTZ相機(jī)模擬變色龍的視覺系統(tǒng)，相比于傳統(tǒng)相機(jī)和靜態(tài)雙目相機(jī)，其優(yōu)勢在于相機(jī)既能單獨運動獲取大場景信息，也可以相互協(xié)同組成立體視覺系統(tǒng)獲取深度信息，還可以獲取局部高分辨率信息，能夠?qū)崿F(xiàn)對目標(biāo)進(jìn)行大范圍、遠(yuǎn)距離跟蹤和定位。雙目PTZ相機(jī)系統(tǒng)可用于視頻監(jiān)控、無人駕駛和智能交通系統(tǒng)、軍事偵察等領(lǐng)域，近年來，雙目PTZ相機(jī)視覺系統(tǒng)一直是研究的熱點，但由于變焦、旋轉(zhuǎn)過程中左右相機(jī)的角度值和焦距值都不斷變化，實現(xiàn)雙目PTZ相機(jī)的實時標(biāo)定難度較大，國內(nèi)對靜態(tài)雙目相機(jī)和單PTZ相機(jī)的研究已經(jīng)十分深入，但對雙目PTZ相機(jī)的標(biāo)定研究還較少。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述技術(shù)的不足，而提供一種基于雙目PTZ相機(jī)的目標(biāo)定位方法，利用雙目PTZ相機(jī)通過變焦、旋轉(zhuǎn)而組成的立體視覺，可以實現(xiàn)在更大范圍、更遠(yuǎn)距離對目標(biāo)的三維定位。

本發(fā)明為實現(xiàn)上述目的，采用以下技術(shù)方案：一種基于雙目PTZ相機(jī)的目標(biāo)定位方法，其特征是：標(biāo)定出雙目PTZ相機(jī)的任意角度和焦距下的內(nèi)外參，利用最小二乘法，實現(xiàn)對目標(biāo)的三維定位，具體步驟如下：

步驟1：求解左右相機(jī)的任意焦距下的內(nèi)參矩陣K_l，K_r；