[發明專利]一種無特征提取的緊致SFM三維重建方法

有效

• 申請號: 201410139234.4
• 申請日: 2014-04-08
• 公開（公告）號: CN103914874B
• 公開（公告）日: 2017-02-01
• 發明（設計）人: 陳佩
• 申請（專利權）人: 中山大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 林麗明

1.一種無特征提取的緊致SFM三維重建方法，其特征在于，包括以下步驟：

S1.輸入關于某場景的n幅圖像，n≥2；

S2.建立與某個相機坐標系相一致的世界坐標系，設世界坐標系與第一相機的坐標系相一致，即世界坐標系的原點、x軸和y軸與第一相機的相機中心、第一相機成像平面的x軸和y軸重合，其z軸垂直指向第一相機的成像平面；

S3.以三維場景的深度和相機投影矩陣作為變量，所述三維場景的深度是指第1幅圖像像素點對應的三維空間點具有的深度q；所述相機投影矩陣是指其它(n-1)幅圖像的3×4相機投影矩陣P_i，2≤i≤n；

S4.構造類似光流估計的目標函數，所述目標函數是連續域上的變分目標函數或其離散形式的目標函數；

S5.采用由粗到細的金字塔方法，在連續域或者離散域上設計迭代算法對目標函數進行優化，輸出表示場景三維信息的深度和代表相機相對位姿信息的相機投影矩陣；

S6.根據表示場景三維信息的深度，實現緊致的射影、相似或者歐幾里德重建。

2.根據權利要求1所述的無特征提取的緊致SFM三維重建方法，其特征在于，在實現射影三維重建中，參數化具體為：在建立世界坐標系的同時，其第一相機的相機投影矩陣為[I₃??0]∈R^3，4，其中I₃是一個3×3的單位陣，0是一個3×1的零向量；其它相機投影矩陣P_i∈R^3，4，2≤i≤n，作為待估計的未知參數；場景的三維結構由定義在第一副圖像上的三維場景的深度決定：假設與第一幅圖像像素(x,y)相對應的三維空間點的三維場景的深度為q_x,y，則該三維點的三維坐標為

(q_x,y×x,q_x,y×y,q_x,y)???（1）

在射影三維重建中，相機投影矩陣P_i和三維場景的深度q_x,y作為待估計的未定參數，為了表達式的簡練，在不造成誤解的情況下，省略下標x，y。

3.根據權利要求2所述的無特征提取的緊致SFM三維重建方法，其特征在于，實現連續域上射影三維重建的具體實現過程為：

構造的連續域上的目標函數具體為：

f(P₂,...,P_n,q)＝f_data+f_{smooth_uv}+f_{smooth_depth}???（2）

其中

fdata=∫∫dxdyρ(Σi=2nΣI=C1Ck((Ix,y1-Iui,vii)2+β(▿Ix,y1-▿Iui,vii)2))---(3)]]>

fsmooth_uv=α∫∫dxdyρ(Σi=2n(|▿(ui-x)|2+|▿(vi-y)|2))---(4)]]>

fsmooth_depht=τ1∫∫dxdyρ(|▿q|2+τ2|Δq|2)---(5)]]>

對上述目標函數的說明如下：(a)為梯度算子，為拉普拉斯算子；(b)目標函數分為三部分，數據項f_data，偏移平滑項f_{smooth_uv}和深度平滑項f_{smooth_depth}，其中α、β、τ₁和τ₂是非負權重；(c)圖像有k個色彩分量C₁,...,C_k，代表第一幅圖像在位置(x,y)的色彩I分量值，相應地，為第i幅圖像在位置(uⁱ,vⁱ)的色彩I分量值；(d)魯棒函數ρ的引入是為了克服深度發生劇變帶來的影響，魯棒函數ρ為Charbonnier函數其中∈是一個足夠小的的正數，ε＜10^-6；或者為Lorentzian函數σ為某個常數；當不引入魯棒函數，則ρ(x)＝x；(e)uⁱ和vⁱ是定義在圖像域上、以相機投影矩陣P_i和深度q為參數的函數：和代表與第一幅圖像像素(x,y)相對應的三維點在第i幅圖像的成像位置

ux,yi=Pi,1[qx,y×x,qx,y×y,qx,y,1]TPi,3[qx,y×x,qx,y×y,qx,y,1]Tvx,yi=Pi,2[qx,y×x,qx,y×y,qx,y,1]TPi,3[qx,y×x,qx,y×y,qx,y,1]T,]]>

其中P_i,j為第i個相機投影矩陣P_i的第j個行向量；為了表達式的簡練，在不造成誤解的情況下，在和中省略下標x,y；

在連續域上設計的優化目標函數（2）的迭代優化算法具體為：因為三維場景的深度是定義在第一幅圖像上的連續函數，在極值點必須滿足歐拉-拉格朗日方程；同時，在極值點對相機投影矩陣參數的偏導數為0；在圖像的離散格點上，聯合歐拉-拉格朗日方程和對相機投影矩陣參數偏導數為0的兩類方程，并采用增量方式表示形式，能夠把求解相機投影矩陣和三維場景深度增量的迭代過程轉化為求解如下線性方程組

Hδθ+b＝0???（6）

其中向量θ由相機投影矩陣P_i2≤i≤n和三維場景的深度q按次序構造而成；這樣，每次迭代歸結為求解

δθ＝-H^-1b???（7），

從而確定相應的增量δP_i和δq；根據所求解的增量更新參數P_i和q，P_i←δP_i+P_i，q←δq+q，直到收斂；

即算法1的具體過程為：

輸入：n幅圖像，初始化三維場景的深度q和相機投影矩陣P_i，2≤i≤n；

輸出：相機投影矩陣P_i(2≤i≤n)、三維場景的深度q和場景的三維表示；

1、迭代

1)、由歐拉-拉格朗日方程和目標函數對相機投影矩陣參數的偏導數為0確定式子（7）中的H和b；

2)、由式子（7）計算增量δθ，并確定相應的增量δP_i和δq；

3)、更新參數P_i，2≤i≤n和q：P_i←δP_i+P_i，q←δq+q；

直到收斂

2、根據收斂后的三維場景的深度q，由式子（1）計算場景的三維表示。