[發明專利]一種基于優化的三維重建的快速圖像拼接方法

有效

• 申請號: 202010356321.0
• 申請日: 2020-04-29
• 公開（公告）號: CN111553845B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 張佳煜;陳志;陳銳;鄭博文;岳文靜
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.一種基于優化的三維重建的快速圖像拼接方法，其特征在于，包括以下步驟：

步驟1、提取n幅輸入圖像的灰度圖；

步驟2、采用快速魯棒性特征算法對每幅圖像特征點進行檢測，生成圖像描述子X，其中X＝(x₁,x₂...,x₆₄)；所述圖像描述子為64維向量，生成步驟如下：

步驟2.1、選取像素點l(x,y,σ)并構建海森矩陣如下：

其中σ為像素點尺度，L_xx(x,σ)、L_xy(x,σ)、L_yy(x,σ)是x點處高斯函數二階偏導數和圖像的二維卷積；

步驟2.2、將經過海森矩陣處理過的每個像素點I(x,y,σ)，即獲得每個像素點海森矩陣的判別式的值，與圖像內3*3*3的立體鄰域內的其他26個像素點比較海森矩陣判別式的值大小；當像素點I對應的海森矩陣的判別式值為最大值時，保留該像素點作為初步特征點；當像素點I對應的海森矩陣的判別式值為最小值時，保留該像素點作為初步特征點；

步驟2.3、采用Haar小波確定特征點的主方向；以步驟2.2中選取的特征點為中心，6S為半徑為范圍，用半徑長為4S的Haar小波計算在z,y方向的小波響應，其中S代表特征值的尺度值；對所述小波響應進行加權，用于保證靠近特征點的響應影響大，遠離特征點的響應影響小；用扇形在圓內掃描，計算扇形內的響應總和，選擇最長矢量方向為該特征點的主方向；

步驟2.4、構造特征描述子；以特征點為中心選取正方形框，所述正方形框邊長為20S，正方形框方向為步驟2.3中選取的特征點主方向；將正方形框分為16個子區域，分別統計像素點相對于特征點主方向水平及垂直方向的Haar小波特征∑dx、∑dy、∑|dx|、∑|dy|，將上述值作為每個子區域的特征向量，得到4*4*4＝64維向量作為特征描述子，即為X＝(x₁,x₂...,x₆₄)；

步驟3、采用最鄰近搜索的方式，對一組圖像I、J的所有特征點F(I)，F(J)，對于每一個特征點f∈F(I)，找到最近鄰點f_nn∈F(J)，其中，

距離采用歐式距離(x₁,x₂,...x₆₄),(x₁’,x₂’...x₆₄’)為待匹配的兩個特征點的快速魯棒性特征向量；當最近鄰與次近鄰的歐式距離D之比小于固定閾值時，判定f和f_nn為可接受的匹配對；獲取特征點匹配點集合C；

步驟4、使用RANSAC算法，消除誤差匹配，獲得較為準確的圖像匹配對，具體步驟如下：

步驟4.1、從步驟3中獲取特征點匹配點集合C，隨機挑選4組匹配點建立約束方程

m'Fm＝0

其中m和m’分別對應一組圖像中的一對正確的匹配點，F為該組圖像中二維特征點之間的單應矩陣；

步驟4.2、將特征點m通過矩陣F映射至本視圖中，獲取映射點m”,計算映射點m”與原始匹配結果m’的歐式距離d；

步驟4.3、預設閾值α，將d與閾值α對比，當dα時,則將該點歸為內點集，當d≥α時，將該點歸為外點集，其中內點集元素個數為n；

步驟4.4、計算并判斷當前內點數n'是否大于最優內點數N，其中N初始值為0，當n'N時，更新N＝N+1，實現迭代，將當前變換矩陣轉置為最佳矩陣估計，同時更新迭代次數k，如下：

其中p為置信度，取p＝0.995；w為內點的比例，m為計算所需的最少樣本數，取m＝4；

步驟5、從圖像序列匹配對中尋找兩幅圖像作為三維重建過程的初始輸入，可以得到初始的三維點云結構；所述兩幅圖像滿足如下條件：

(1)匹配內點個數不少于100個；

(2)作為初始輸入的兩幅圖像是所有圖像序列匹配對中匹配內點占比最低的；

步驟6、在計算完初始輸入的兩幅圖像，并重建三維點之后，添加新的圖像作為輸入，通過新的圖像與已計算圖像中特征點的匹配，計算新的圖像與已計算圖像之間的旋轉矩陣，獲取兩幅圖像之間的關系，確定新圖像中各特征點在三維結構中的空間坐標；通過光束平差法來消除誤差的積累；當所有圖像添加完畢后，可以得到各個相機的參數估計以及場景的稀疏三維點云；

步驟7、將步驟6中生成的點云結構和圖像序列作為輸入，通過多視圖立體視覺算法，將點云濾除雜點，網格化，最終產生密集的點云重構，并生成多邊形網格表面；

步驟8、將步驟7中獲取的密集點云和步驟6中獲取的影像姿態參數作為輸入，通過影像微分糾正，得到每幅影像對應的正射影像的分辨率以及在X、Y維度上對應的空間覆蓋范圍，從而實現影像的拼接；其中步驟6中獲取的影像姿態參數包括，相機內參和影像的旋轉矩陣以及影像坐標系和空間坐標系之間的偏移相量。