[發(fā)明專(zhuān)利]基于雙層配準(zhǔn)方法的室內(nèi)三維場(chǎng)景重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310053829.3
• 申請(qǐng)日: 2013-02-20
• 公開(kāi)（公告）號(hào): CN103106688A
• 公開(kāi)（公告）日: 2013-05-15
• 發(fā)明（設(shè)計(jì)）人: 賈松敏;郭兵;王可;李秀智
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06T7/00
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

1.一種基于雙層配準(zhǔn)方法的室內(nèi)三維場(chǎng)景重建方法，其特征在于包括以下步驟：

步驟一，進(jìn)行Kinect標(biāo)定，方法如下：

（1）打印一張棋盤(pán)模板；

（2）從多個(gè)角度拍攝棋盤(pán)；

（3）檢測(cè)出圖像中的特征點(diǎn)，即棋盤(pán)的每一個(gè)黑色交叉點(diǎn)；

（4）求出Kinect標(biāo)定的參數(shù)：

紅外攝像機(jī)的內(nèi)參矩陣K_ir：

Kir=fuIR0uIR0fvIRvIR001]]>

其中，(f_uIR,f_vIR)是紅外攝像機(jī)的焦距，取值(5,5)，(u_IR,v_IR)是紅外攝像機(jī)像平面中心坐標(biāo)，取值(320,240)；

RGB攝像機(jī)的內(nèi)參數(shù)矩陣K_c：

Kc=fu0u00fvv0001]]>

其中，(f_u,f_v)是RGB攝像機(jī)的焦距，(u₀,v₀)是RGB攝像機(jī)像平面中心坐標(biāo)；

紅外攝像機(jī)與RGB攝像機(jī)間的外部參數(shù)為：

T＝[R_IRc,t_IRc]

其中，R_IRc為旋轉(zhuǎn)矩陣，t_IRc平移向量，直接使用微軟官方提供的參數(shù)：

RIRc=100010001]]>

t_IRc＝[0075??0??0]^T

Kinect坐標(biāo)系向上為y軸正方向，向前為z軸正方向，向右為x正方向；將Kinect的起始點(diǎn)位置設(shè)定為世界坐標(biāo)系原點(diǎn)，世界坐標(biāo)系的X、Y、Z方向與Kinect起始點(diǎn)位置的x、y、z方向相同；

步驟二，特征點(diǎn)的提取與匹配，方法如下：

（1）獲取積分圖像：對(duì)于圖像中某點(diǎn)X＝(x,y)的積分I(X)為：

IΣ(X)=Σi=0i≤xΣj=0j≤yI(i,j)]]>

在積分圖像中用3個(gè)加減運(yùn)算來(lái)計(jì)算一個(gè)矩形區(qū)域的灰度值之和，與矩形的面積無(wú)關(guān)；

（2）求取近似Hessian矩陣H_approx：對(duì)于圖像I中某點(diǎn)X＝(x,y)，在X點(diǎn)的s尺度上的Hessian矩陣H(X,s)定義為：

H(X,s)=Lxx(X,s)Lxy(X,s)Lxy(X,s)Lyy(X,s)]]>

其中，L_xx(X,s)、L_xy(X,s)、L_yy(X,s)表示高斯二階偏導(dǎo)數(shù)在X處與圖像I的卷積；使用方框?yàn)V波近似代替Hessian矩陣中的二階高斯濾波，框狀濾波模板同圖像卷積后的值分別為D_xx、D_yy、D_xy，進(jìn)一步用它們代替L_xx、L_yy、L_xy得到近似Hessian矩陣H_approx，其行列式為：

det(H_approx)＝D_xxD_yy-(wD_xy)²

其中，w是權(quán)重系數(shù)；

（3）定位特征點(diǎn)：SURF的特征點(diǎn)檢測(cè)基于Hessian矩陣，根據(jù)Hessian矩陣行列式的局部最大值定位特征點(diǎn)位置；

用不同尺寸的框狀濾波器對(duì)原始圖像進(jìn)行處理得到尺度圖像金字塔，根據(jù)H_approx求出尺度圖像在(X,s)處的極值；

使用框狀濾波器構(gòu)建尺度空間，在每一階中，選擇4層的尺度圖像，用H_approx矩陣求出極值，在3維(X,s)尺度空間中，對(duì)每個(gè)3×3×3的局部區(qū)域進(jìn)行非極大值抑制；將響應(yīng)值大于26個(gè)鄰域值的點(diǎn)選為特征點(diǎn)；利用二次擬合函數(shù)對(duì)特征點(diǎn)精確定位，擬合函數(shù)D(X)為：

D(X)=D+∂DT∂XX+12XT∂D∂X2X]]>

從而得到特征點(diǎn)的位置、尺度信息(X,s)；

（4）確定特征點(diǎn)的方向特征：用Haar小波濾波器對(duì)圓形鄰域進(jìn)行處理，得到該鄰域內(nèi)每個(gè)點(diǎn)所對(duì)應(yīng)的x、y方向的響應(yīng)；選取以特征點(diǎn)為中心的高斯函數(shù)，σ取2s，s為該特征點(diǎn)對(duì)應(yīng)的尺度，對(duì)這些響應(yīng)進(jìn)行加權(quán)，搜索長(zhǎng)度最大的矢量，其方向即為該特征點(diǎn)所對(duì)應(yīng)的方向；

（5）構(gòu)建特征描述向量：以特征點(diǎn)為中心確定一個(gè)正方形的鄰域，邊長(zhǎng)取20s，把特征點(diǎn)方向設(shè)定為該鄰域的y軸方向；把正方形區(qū)域分成4×4個(gè)子區(qū)域，在每一個(gè)子區(qū)域中用Haar小波濾波器進(jìn)行處理，Haar小波模板尺寸為2s×2s；用d_x表示水平方向的Haar小波響應(yīng)，用d_y表示豎直方向的Haar小波響應(yīng)，對(duì)于所有的d_x、d_y用以特征點(diǎn)為中心的高斯函數(shù)加權(quán)，該高斯函數(shù)的σ為3.3s；在每個(gè)子區(qū)域分別對(duì)d_x、d_y、d_x|、d_y|求和，得到一個(gè)4維向量V(∑d_x,∑d_y,∑d_y|,∑d_y|)，把4×4個(gè)子區(qū)域的向量連接起來(lái)就得到了一個(gè)64維的向量，該向量具有旋轉(zhuǎn)、尺度不變性，歸一化后，具有光照不變性；該向量即為描述特征點(diǎn)的特征向量；

（6）特征匹配：采用基于歐氏距離的最近鄰法，利用K-D樹(shù)在待匹配的圖像中搜索，找到與基準(zhǔn)圖像中的特征點(diǎn)歐式距離最近的前兩個(gè)特征點(diǎn)，如果最近距離除以次近距離得到的值小于設(shè)定的比例閾值，則接受這一對(duì)匹配點(diǎn)；

步驟三，圖像匹配點(diǎn)到三維坐標(biāo)映射，方法如下：

求深度圖像中一點(diǎn)p＝(x_d,y_d)在Kinect坐標(biāo)系下的坐標(biāo)P_3D＝(x,y,z)：

P3D.x=(xd-uIR)×P3D.z/fuIRP3D.y=(yd-vIR)×P3D.z/fvIRP3D.z=depth(xd,yd)]]>

其中，depth(x_d,y_d)表示深度圖像中點(diǎn)p的深度值；

由RGB圖像像素所對(duì)應(yīng)的3D坐標(biāo)求出在RGB圖像中的坐標(biāo)(x_rgb,y_rgb)：

xrgb=(P3D′.x*fu/P3D′.z)+u0yrgb=(P3D′.y*fv/P3D′.z)+v0]]>

其中，P′_3D^T＝R_IRc*P_3D^T+t_IRc；

根據(jù)上述換算關(guān)系，將步驟二中得到的匹配點(diǎn)對(duì)換算到三維空間點(diǎn)對(duì)；

步驟四，基于RANSAC與ICP方法的三維空間點(diǎn)雙層配準(zhǔn)，方法如下：

（1）初次配準(zhǔn)：在初次配準(zhǔn)階段應(yīng)用RANSAC去除誤匹配的三維空間點(diǎn)對(duì)，通過(guò)迭代找到滿足變換模型的最大內(nèi)點(diǎn)集并估計(jì)出變換矩陣T；累積KeyFrame到當(dāng)前數(shù)據(jù)的每一相對(duì)變換矩陣，獲得當(dāng)前Kinect相對(duì)KeyFrame的變換矩陣；根據(jù)該矩陣計(jì)算出Kinect的平移量和旋轉(zhuǎn)角度模值，與設(shè)定的閾值進(jìn)行比較，判斷是否選取該幀為KeyFrame；

（2）精確配準(zhǔn)：為獲取k時(shí)刻Kinect位姿根據(jù)Kinect坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系，建立如下能量函數(shù)：

E=minΣpk∈Ω|Tcwkpw-pk|]]>

其中，p_w為世界坐標(biāo)系下的點(diǎn)，p^k為當(dāng)前坐標(biāo)系下的點(diǎn)，Ω為k時(shí)刻圖像平面中具有有效深度值的像素點(diǎn)的集合，即：

Ω＝{p^k|u＝π(p^k)且M(u)＝1}

其中，M（X）為描述所獲取深度圖中有效信息與無(wú)效信息的函數(shù)：

其中，X為像平面坐標(biāo)點(diǎn)；

假設(shè)在k-1時(shí)刻和k時(shí)刻Kinect的偏移量為則：

Tcwk=TinckTcwk-1]]>

當(dāng)Kinect在x,y,z軸方向上的旋轉(zhuǎn)量(α,β,γ)以及在三個(gè)方向上的平移量為(t_x,t_y,t_z)足夠小時(shí)，根據(jù)一階泰勒公式展開(kāi)，令x＝(α,β,γ,t_x,t_y，t_z)，則：

Tinck=exp(x)]]>

=1γ-β-γ1αβ-α1txtytz]]>

=[Rinc|tinc]]]>

對(duì)于第k時(shí)刻所獲取空間點(diǎn)的世界坐標(biāo)為將該點(diǎn)投影到k-1時(shí)刻時(shí)Kinect的坐標(biāo)系下，能量函數(shù)變換為：

E=minΣpk∈Ω||Tcwkpw-pk||]]>

Σpl∈Ω||TinckTcwk-1pw-pk||]]>

=minΣpk∈Ω||Tinckpwk-1pk||]]>

Ω＝{p^k|u＝π(p^k)且M(u)＝1}

其中，p_w和p^k為對(duì)應(yīng)點(diǎn)，為p_w在第k-1時(shí)刻相機(jī)坐標(biāo)系下的坐標(biāo)；

由

Tinckpwk-1=Rincpwk-1+tinc=G(pwk-1)x+pwk-1]]>

得到能量函數(shù)的最終表示：

minx∈se(3)ΣΩ||G(pwk-1)x+pwk-1pk||]]>

Ω＝{p^k|u＝π(p^k)且M(u)＝1}

其中，G(pwk-1)=[[pwk-1]×|I3×3],[pwk-1]×]]>為由構(gòu)成的反對(duì)稱(chēng)矩陣；

設(shè)定能量函數(shù)的閾值，利用Cholesky分解得到六元組解x＝(α,β,γ,t_x,t_y,t_z)，映射到Lie群中的特殊歐式群SE(3)空間，并結(jié)合k-1時(shí)刻Kinect的位姿即可獲得當(dāng)前Kinect位姿；

步驟五，場(chǎng)景更新，方法如下：

場(chǎng)景的更新分為兩種情況，一種是第一次進(jìn)行場(chǎng)景更新，此時(shí)將Kinect的位置設(shè)定為世界坐標(biāo)系的原點(diǎn)，并加入當(dāng)前獲取的場(chǎng)景數(shù)據(jù)；另一種是新增一幀KeyFrame數(shù)據(jù)，根據(jù)式將當(dāng)前新增KeyFrame數(shù)據(jù)轉(zhuǎn)換到世界坐標(biāo)系中，完成場(chǎng)景數(shù)據(jù)的更新。

2.根據(jù)權(quán)利要求1所述的基于雙層配準(zhǔn)方法的室內(nèi)三維場(chǎng)景重建方法，其特征在于，步驟四所述的應(yīng)用RANSAC求變換矩陣T的方法如下：

（1）從來(lái)自基準(zhǔn)點(diǎn)集A和待配準(zhǔn)點(diǎn)集B的初始N對(duì)三維匹配點(diǎn)對(duì)中隨機(jī)選取7對(duì)數(shù)據(jù)；

（2）利用基礎(chǔ)矩陣求解最小配置7點(diǎn)法，由選取的7對(duì)數(shù)據(jù)計(jì)算基準(zhǔn)點(diǎn)集和待配準(zhǔn)點(diǎn)集數(shù)據(jù)的變換矩陣T^AB；

（3）利用變換矩陣T^AB將待配準(zhǔn)圖像的特征點(diǎn)集合中剩余的N-7個(gè)三維點(diǎn)變換到基準(zhǔn)點(diǎn)云坐標(biāo)系下；

（4）計(jì)算變換后的點(diǎn)集P′_N-7與基準(zhǔn)點(diǎn)集之間的坐標(biāo)誤差；

（5）從N對(duì)匹配點(diǎn)對(duì)中找出坐標(biāo)誤差在一定閾值內(nèi)的特征點(diǎn)對(duì)個(gè)數(shù)，記為i；

（6）重復(fù)（1）~（5）n次，使i值取得最大的集合為最大內(nèi)點(diǎn)集，即為內(nèi)點(diǎn)，其余N-i為誤匹配點(diǎn)，即為外點(diǎn)；利用最大內(nèi)點(diǎn)集估計(jì)出變換模型的最小二乘解，作為當(dāng)前相鄰兩幀數(shù)據(jù)的變換矩陣T。