[發(fā)明專利]一種基于優(yōu)化的三維重建的快速圖像拼接方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010356321.0
• 申請(qǐng)日: 2020-04-29
• 公開(kāi)（公告）號(hào): CN111553845B
• 公開(kāi)（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 張佳煜;陳志;陳銳;鄭博文;岳文靜
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T17/00
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 徐激波

本發(fā)明公開(kāi)了一種基于優(yōu)化的三維重建的快速圖像拼接方法，采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)和多視角立體技術(shù)構(gòu)建拍攝區(qū)域的密集點(diǎn)云，通過(guò)密集點(diǎn)云來(lái)實(shí)現(xiàn)影像的拼接；在圖像特征點(diǎn)提取中采用優(yōu)化的特征描述子，進(jìn)行優(yōu)化調(diào)整，在消除誤差積累時(shí)，提出如何在初始化完成后選擇下一個(gè)最佳視圖的優(yōu)化策略，保證點(diǎn)云生成的準(zhǔn)確性，減少光束平差法失敗的可能性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像三維重建技術(shù)領(lǐng)域，主要涉及一種基于優(yōu)化的三維重建的快速圖像拼接方法。

背景技術(shù)

三維重建技術(shù)是進(jìn)行全自動(dòng)圖像拼接的重要技術(shù)。因其無(wú)需人工干預(yù)，無(wú)需輔助參考影像的特性，學(xué)者提出了可以利用基于圖像的三維重建技術(shù)進(jìn)行全自動(dòng)地重建拍攝區(qū)域。

目前，基于圖像的三維重建技術(shù)主要有基于單幅圖像利用幾何投影和深度學(xué)習(xí)的方式進(jìn)行重建，但是這種方式受圖像中圖形的幾何條件和光照條件影響較大，不適合在大型戶外場(chǎng)景中使用；有基于RGB-D深度相機(jī)，如微軟的Kinect等。

在這些理論和方法中，最重要的三類是同時(shí)定位和映射(SLAM)、運(yùn)動(dòng)結(jié)構(gòu)(SFM)和多視場(chǎng)立體(MVS)算法。其中采用經(jīng)典的SLAM算法來(lái)重建三維圖像，目前已有比較成熟的成果，如ORB-SLAM2，這種方法可以在短時(shí)間內(nèi)較高精度地重建受光照條件影響不大的室內(nèi)場(chǎng)景，但是由于深度相機(jī)本身對(duì)于環(huán)境光照條件非常敏感，這種方法并不適合應(yīng)用在戶外無(wú)人機(jī)航拍中。

從SFM和MVS技術(shù)構(gòu)建拍攝區(qū)域的密集點(diǎn)云，再通過(guò)密集點(diǎn)云來(lái)實(shí)現(xiàn)影像的拼接這種方法可以在不借助其他輔助條件的情況下，較高精度地重建出拍攝地區(qū)的三維圖像，但是存在計(jì)算量較大，實(shí)時(shí)性很差的缺點(diǎn)。

在實(shí)現(xiàn)圖像拼接的過(guò)程中，需要對(duì)圖像特征點(diǎn)進(jìn)行提取，SIFT(尺度不變特征變換)是一種常用的特征描述子，其對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化等均保持良好的不變性，是一種非常穩(wěn)定的局部特征，具有良好的魯棒性。但是由于SIFT算子的特征向量具有高達(dá)128的維數(shù)，其計(jì)算的復(fù)雜程度相當(dāng)高，需要付出很大的時(shí)間成本，降低了效率。

此外，用來(lái)消除錯(cuò)誤匹配的方法是一個(gè)高維非線性優(yōu)化問(wèn)題，往往采用迭代的方法來(lái)求解，所以需要一個(gè)合適的初值。所以選擇合適的初始化圖像對(duì)十分重要，一旦被賦予了錯(cuò)誤的初值，將會(huì)陷入局部最優(yōu)中。在初始化的兩幀圖片進(jìn)行了第一次光束平差法和重建三維點(diǎn)后，不斷添加新的圖像，最后得到相機(jī)的估計(jì)參數(shù)和場(chǎng)景的幾何信息，即稀疏的三維點(diǎn)云。同時(shí)在初值選定后關(guān)于下一個(gè)視圖選擇的決策也十分重要，選擇的差錯(cuò)會(huì)帶來(lái)巨大的時(shí)間代價(jià)。

發(fā)明內(nèi)容

發(fā)明目的：為了解決上述背景技術(shù)中存在的問(wèn)題，本發(fā)明提供了一種基于優(yōu)化的三維重建的快速圖像拼接方法，在消除誤差積累時(shí)，提出如何在初始化完成后選擇下一個(gè)最佳視圖的優(yōu)化策略，保證點(diǎn)云生成的準(zhǔn)確性，減少光束平差法失敗的可能性。

技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：

一種基于優(yōu)化的三維重建的快速圖像拼接方法，包括以下步驟：

步驟1、提取n幅輸入圖像的灰度圖；

步驟2、采用快速魯棒性特征算法對(duì)每幅圖像特征點(diǎn)進(jìn)行檢測(cè)，生成圖像描述子X(jué)，其中X＝(x₁,x₂...,x₆₄)；所述圖像描述子為64維向量，生成步驟如下：

步驟2.1、選取像素點(diǎn)l(x,y,σ)并構(gòu)建海森矩陣如下：

其中σ為像素點(diǎn)尺度，L_xx(x,σ)、L_xy(x,σ)、L_yy(x,σ)是x點(diǎn)處高斯函數(shù)二階偏導(dǎo)數(shù)和圖像的二維卷積；