[發(fā)明專利]二維光電視頻與三維場(chǎng)景融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911184917.0
• 申請(qǐng)日: 2019-11-27
• 公開（公告）號(hào): CN110930508B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 高強(qiáng);紀(jì)明;陶忠;何櫻;楊光;李良福;安學(xué)智;謝歡;張鵬;騫坤
• 申請(qǐng)（專利權(quán)）人: 西安應(yīng)用光學(xué)研究所
• 主分類號(hào): G06T17/05
• 分類號(hào): G06T17/05;G06T7/33;G06T7/80;G06T3/00
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 陳星

1.一種二維光電視頻與三維場(chǎng)景融合方法，其特征在于：包括以下步驟：

步驟1：地理定位：

實(shí)時(shí)獲取載機(jī)在地心坐標(biāo)系中的空間位置；實(shí)時(shí)根據(jù)載機(jī)中光電穩(wěn)瞄系統(tǒng)的瞄準(zhǔn)線姿態(tài)和視場(chǎng)確定光電穩(wěn)瞄系統(tǒng)的四棱錐視場(chǎng)姿態(tài)，并結(jié)合載機(jī)在地心坐標(biāo)系中的空間位置，獲得光電穩(wěn)瞄系統(tǒng)四棱錐視場(chǎng)在地心坐標(biāo)系中的空間位置和姿態(tài)，并計(jì)算得到四棱錐視場(chǎng)中四條棱線的空間位置和姿態(tài)；

根據(jù)四條棱線的空間位置和姿態(tài)，結(jié)合已經(jīng)構(gòu)建完成的三維地形曲面，利用K-Dtree求交算法可求得四條棱線與三維地形曲面的交點(diǎn)；

以光電穩(wěn)瞄系統(tǒng)的瞄準(zhǔn)線在所述三維地圖區(qū)域中的交點(diǎn)為中心點(diǎn)，將中心點(diǎn)與四個(gè)所述交點(diǎn)的連線外擴(kuò)N倍，得到四個(gè)新交點(diǎn)；根據(jù)四個(gè)新交點(diǎn)在三維地形曲面中的位置，以及光電穩(wěn)瞄系統(tǒng)的瞄準(zhǔn)線姿態(tài)，利用K-Dtree求交算法得到四個(gè)新交點(diǎn)依次相連的四條曲線，進(jìn)而得到由四條曲線圍成的擴(kuò)展三維地圖區(qū)域；

步驟2：圖像畸變校正

實(shí)時(shí)獲取光電穩(wěn)瞄系統(tǒng)采集的圖像數(shù)據(jù)，對(duì)光電穩(wěn)瞄系統(tǒng)的徑向和切向畸變參數(shù)進(jìn)行標(biāo)定，并根據(jù)標(biāo)定后的畸變矯正模型得到校正后的圖像；

步驟3：圖像配準(zhǔn)：

將經(jīng)過校正后的光電穩(wěn)瞄系統(tǒng)采集的圖像與擴(kuò)展三維地圖區(qū)域進(jìn)行特征提取、特征描述和特征匹配，從而確定光電穩(wěn)瞄系統(tǒng)實(shí)時(shí)采集圖像在三維地形曲面中的位置；

步驟4：動(dòng)態(tài)紋理映射：

將光電穩(wěn)瞄系統(tǒng)實(shí)時(shí)采集圖像映射到配準(zhǔn)后的三維地形曲面對(duì)應(yīng)區(qū)域，完成將二維影像與三維場(chǎng)景的融合。

2.根據(jù)權(quán)利要求1所述一種二維光電視頻與三維場(chǎng)景融合方法，其特征在于：步驟3中特征提取的具體過程為：

對(duì)經(jīng)過校正后的光電穩(wěn)瞄系統(tǒng)采集的圖像以及擴(kuò)展三維地圖區(qū)域的數(shù)字地圖，分別采用基于相位一致性方法進(jìn)行特征提取；

所述采用基于相位一致性方法進(jìn)行特征提取的過程為：

根據(jù)公式

計(jì)算對(duì)應(yīng)圖像中各個(gè)像素點(diǎn)的相位一致性特征值PC(x,y)，(x,y)為圖像中的像素點(diǎn)坐標(biāo)；W_o(x,y)為設(shè)定的頻率擴(kuò)展的權(quán)重因子；A_no(x,y)為像素點(diǎn)(x,y)在log Gabor小波變換濾波器尺度n和方向o上的振幅，通過將對(duì)應(yīng)圖像輸入log Gabor小波變換濾波器得到；符號(hào)表示值為正時(shí)取本身，否則取0，T為噪聲閾值，ε為一個(gè)避免分母為0的常數(shù)，A_no(x,y)Δφ_no(x,y)利用將對(duì)應(yīng)圖像輸入log Gabor小波變換濾波器所得到的偶對(duì)稱濾波器響應(yīng)值e_no(x,y)和奇對(duì)稱濾波器響應(yīng)值o_no(x,y)來計(jì)算：

式中：

其中，E(x,y)是局部能量函數(shù)，定義為：

3.根據(jù)權(quán)利要求1所述一種二維光電視頻與三維場(chǎng)景融合方法，其特征在于：步驟3中特征描述的具體過程為：

對(duì)經(jīng)過校正后的光電穩(wěn)瞄系統(tǒng)采集的圖像以及擴(kuò)展三維地圖區(qū)域的數(shù)字地圖，分別以特征提取得到的圖像中各個(gè)像素點(diǎn)的相位一致性特征值作為輸入，利用ORB算法中的特征檢測(cè)器得到圖像中的特征點(diǎn)以及每個(gè)特征點(diǎn)的特征向量f_s。

4.根據(jù)權(quán)利要求1所述一種二維光電視頻與三維場(chǎng)景融合方法，其特征在于：對(duì)經(jīng)過校正后的光電穩(wěn)瞄系統(tǒng)采集的圖像以及擴(kuò)展三維地圖區(qū)域的數(shù)字地圖，分別以圖像本身各個(gè)像素點(diǎn)作為輸入，利用卷積神經(jīng)網(wǎng)絡(luò)來提取特征點(diǎn)；在利用卷積神經(jīng)網(wǎng)絡(luò)提取的特征點(diǎn)中，根據(jù)像素值找到與ORB算法所得到的特征點(diǎn)相對(duì)應(yīng)的特征點(diǎn)，對(duì)于這些特征點(diǎn)，通過卷積神經(jīng)網(wǎng)絡(luò)所得到的特征向量f_c，將該特征向量f_c與特征向量f_s歸一化融合得到特征向量F＝{f_s,f_c}。