[發(fā)明專(zhuān)利]二維光電視頻與三維場(chǎng)景融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911184917.0
• 申請(qǐng)日: 2019-11-27
• 公開(kāi)（公告）號(hào): CN110930508B
• 公開(kāi)（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 高強(qiáng);紀(jì)明;陶忠;何櫻;楊光;李良福;安學(xué)智;謝歡;張鵬;騫坤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安應(yīng)用光學(xué)研究所
• 主分類(lèi)號(hào): G06T17/05
• 分類(lèi)號(hào): G06T17/05;G06T7/33;G06T7/80;G06T3/00
• 代理公司: 西北工業(yè)大學(xué)專(zhuān)利中心 61204
• 代理人: 陳星

本發(fā)明公開(kāi)了一種二維光電視頻與三維場(chǎng)景融合方法，主要包括地理定位，圖像畸變校正，圖像配準(zhǔn)與動(dòng)態(tài)紋理映射四個(gè)部分。該方法能夠?qū)⒍S光電視頻融合在三維地形表面，呈現(xiàn)給觀察員的是三維空間維度中的一個(gè)連續(xù)對(duì)接并且地理位置上配準(zhǔn)的場(chǎng)景，該場(chǎng)景既能展現(xiàn)動(dòng)態(tài)活動(dòng)中心區(qū)域，也能展現(xiàn)傳感器周?chē)鷧^(qū)域地形地貌特點(diǎn)，觀察員能在一副畫(huà)面中看到包含動(dòng)靜結(jié)合的兩類(lèi)信息。這樣能夠結(jié)合二者數(shù)據(jù)的優(yōu)勢(shì)，即光電視頻數(shù)據(jù)的實(shí)時(shí)性以及地形數(shù)據(jù)的廣域性，提供給飛行員一個(gè)更好的感知周?chē)鷳B(tài)勢(shì)的方案，本發(fā)明在提高飛行安全、目標(biāo)偵察，目標(biāo)跟蹤以及路線分析、態(tài)勢(shì)感知方面都有一定的應(yīng)用潛力。

技術(shù)領(lǐng)域

本發(fā)明屬于光電偵察、態(tài)勢(shì)感知領(lǐng)域，主要涉及一種二維光電視頻與三維場(chǎng)景融合方法。

背景技術(shù)

機(jī)載平臺(tái)上的光電傳感器探測(cè)數(shù)據(jù)，相對(duì)于三維數(shù)字地圖數(shù)據(jù)，其以二維視頻形式呈現(xiàn)具有實(shí)時(shí)動(dòng)態(tài)的優(yōu)點(diǎn)，比如動(dòng)態(tài)的地面目標(biāo)跟蹤或者敵方動(dòng)態(tài)活動(dòng)偵察，但都受限于探測(cè)視場(chǎng)、距離和區(qū)域，只能以固定視角呈現(xiàn)有限視場(chǎng)區(qū)域范圍內(nèi)的圖像，探測(cè)區(qū)域外的地形地貌特征無(wú)法感知。三維數(shù)字地圖能夠以任意視點(diǎn)和視角呈現(xiàn)三維地形地貌特征，其優(yōu)點(diǎn)在于能展現(xiàn)任意遠(yuǎn)近距離和范圍內(nèi)的地形場(chǎng)景，但構(gòu)建三維地圖的數(shù)據(jù)一般都有一定的滯后性，展現(xiàn)的場(chǎng)景也只能是具有靜態(tài)不變特性的信息，比如地形地貌和沒(méi)有變化過(guò)的地面基礎(chǔ)設(shè)施和人工建筑等，無(wú)法展現(xiàn)具有動(dòng)態(tài)特征的信息，比如地面車(chē)輛、行人等目標(biāo)。

將二維的光電視頻數(shù)據(jù)融合在三維的數(shù)字地圖上能夠結(jié)合二者的優(yōu)勢(shì)，提供新的技術(shù)優(yōu)勢(shì)。在直升機(jī)飛行安全導(dǎo)航領(lǐng)域以及無(wú)人機(jī)情報(bào)偵察領(lǐng)域?qū)@一技術(shù)具有明確的需求。直升機(jī)和無(wú)人機(jī)在飛行各個(gè)階段，三維數(shù)字地圖能夠幫助飛行員感知外部飛行環(huán)境，光電視頻主要進(jìn)行戰(zhàn)術(shù)目標(biāo)跟蹤、情報(bào)偵察等活動(dòng)，將二者信息有效的融合，能夠提供超出預(yù)期的戰(zhàn)場(chǎng)優(yōu)勢(shì)，比如目標(biāo)跟蹤和偵察時(shí)，能夠協(xié)助預(yù)測(cè)地面運(yùn)動(dòng)目標(biāo)的路線，能夠根據(jù)地圖提供的空間關(guān)系、路網(wǎng)信息和地面目標(biāo)類(lèi)型，甚至預(yù)測(cè)最佳打擊位置和時(shí)機(jī)等。

現(xiàn)有實(shí)際應(yīng)用中都是將傳感器的二維視頻和電子地圖放在兩個(gè)屏幕顯示的系統(tǒng)，這種技術(shù)需要觀察員自己在兩個(gè)屏幕中切換并且自己去思考二者對(duì)應(yīng)關(guān)系；也有現(xiàn)有技術(shù)是在電子地圖屏幕中開(kāi)一個(gè)獨(dú)立的軟件窗口去顯示傳感器二維視頻，這種技術(shù)沒(méi)有實(shí)現(xiàn)二者數(shù)據(jù)的有效的融合，兩者畫(huà)面本質(zhì)是還是獨(dú)立的各自的內(nèi)容，二者內(nèi)容之間的相關(guān)性也不能體現(xiàn)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的直升機(jī)光電傳感器圖像與虛擬三維場(chǎng)景(三維數(shù)字地圖)的融合問(wèn)題，本發(fā)明提出一種二維光電視頻與三維場(chǎng)景融合方法，能夠?qū)⒍S的光電視頻融合在三維地形表面，呈現(xiàn)給觀察員的是三維空間維度中的一個(gè)連續(xù)對(duì)接并且地理位置上配準(zhǔn)的場(chǎng)景，該場(chǎng)景既能展現(xiàn)動(dòng)態(tài)活動(dòng)中心區(qū)域，也能展現(xiàn)傳感器周?chē)鷧^(qū)域地形地貌特點(diǎn)，觀察員能在一副畫(huà)面中看到包含動(dòng)靜結(jié)合的兩類(lèi)信息。比如，既有視頻提供的地面目標(biāo)車(chē)輛，又有地圖提供的地面路網(wǎng)信息和地理空間信息。這樣能夠結(jié)合二者數(shù)據(jù)的優(yōu)勢(shì)，即光電視頻數(shù)據(jù)的實(shí)時(shí)性以及地形數(shù)據(jù)的廣域性，提供給飛行員一個(gè)更好的感知周?chē)鷳B(tài)勢(shì)的方案，本發(fā)明在提高飛行安全、目標(biāo)偵察，目標(biāo)跟蹤以及路線分析、態(tài)勢(shì)感知方面都有一定的應(yīng)用潛力。

本發(fā)明中為了解決二維光電視頻與三維數(shù)字地圖的融合問(wèn)題，將該過(guò)程分為四個(gè)流程分別解決地理定位問(wèn)題，解決光電視頻的圖像畸變校正問(wèn)題，解決光電視頻與三維數(shù)字地圖中對(duì)應(yīng)位置的配準(zhǔn)問(wèn)題，解決二維光電視頻與三維地形的紋理映射問(wèn)題。再分別解決上述幾個(gè)問(wèn)題之后，將各個(gè)流程的結(jié)果進(jìn)行集成，可以實(shí)現(xiàn)在三維數(shù)字地圖中較為準(zhǔn)確的融合二維光電視頻。

本發(fā)明的技術(shù)方案為：

所述一種二維光電視頻與三維場(chǎng)景融合方法，其特征在于：包括以下步驟：

步驟1：地理定位：

實(shí)時(shí)獲取載機(jī)在地心坐標(biāo)系中的空間位置；實(shí)時(shí)根據(jù)載機(jī)中光電穩(wěn)瞄系統(tǒng)的瞄準(zhǔn)線姿態(tài)和視場(chǎng)確定光電穩(wěn)瞄系統(tǒng)的四棱錐視場(chǎng)姿態(tài)，并結(jié)合載機(jī)在地心坐標(biāo)系中的空間位置，獲得光電穩(wěn)瞄系統(tǒng)四棱錐視場(chǎng)在地心坐標(biāo)系中的空間位置和姿態(tài)，并計(jì)算得到四棱錐視場(chǎng)中四條棱線的空間位置和姿態(tài)；