[發(fā)明專利]一種基于區(qū)域配準(zhǔn)的深度點(diǎn)云三維重建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611233141.3
• 申請(qǐng)日: 2016-12-28
• 公開(kāi)（公告）號(hào): CN106651926A
• 公開(kāi)（公告）日: 2017-05-10
• 發(fā)明（設(shè)計(jì)）人: 全紅艷;趙含放
• 申請(qǐng)（專利權(quán)）人: 華東師范大學(xué)
• 主分類號(hào): G06T7/33
• 分類號(hào): G06T7/33;G06T7/593
• 代理公司: 上海藍(lán)迪專利商標(biāo)事務(wù)所(普通合伙)31215
• 代理人: 徐筱梅,張翔

1.一種基于區(qū)域配準(zhǔn)的深度點(diǎn)云三維重建方法，其特征在于，該方法包括以下具體步驟：步驟1：對(duì)彩色圖像進(jìn)行區(qū)域分割

將彩色圖像每個(gè)像素初始化為圖G的頂點(diǎn)，像素之間的顏色差異初始化為頂點(diǎn)之間的邊權(quán)值；計(jì)算所有像素之間的顏色差異，計(jì)為圖G的邊權(quán)值h，按照公式(1)計(jì)算：

$h_{ij}=\sqrt{{(r_i-r_j)}^2+{(g_i-g_j)}^2+{(b_i-b_j)}^2}---\left(1\right)$

其中，h_ij是像素點(diǎn)p_i與p_j之間的邊權(quán)值，(r_i,g_i,b_i)與(r_j,g_j,b_j)分別是兩個(gè)像素點(diǎn)的紅綠藍(lán)三個(gè)顏色值；為了進(jìn)一步進(jìn)行區(qū)域分割，先將圖G中每一個(gè)頂點(diǎn)當(dāng)作一個(gè)區(qū)域，然后根據(jù)公式(2)對(duì)每?jī)蓚€(gè)區(qū)域進(jìn)行聚類分析，如果兩個(gè)區(qū)域滿足公式(2)，那么將他們合并為一塊新區(qū)域；

Dif(C_i，C_j)≤min(Int(C_i)+f/|C_i|,Int(C_j)+f/|C_j|) (2)

其中，C_i和C_j是待分割的兩個(gè)區(qū)域，Dif(C_i，C_j)是連接兩個(gè)區(qū)域C_i和C_j之間的最小的邊權(quán)值，Int(C_i)和Int(C_j)分別為區(qū)域C_i和C_j包含的圖所對(duì)應(yīng)的最小生成樹(shù)中最大的邊權(quán)值；|C_i|和|C_j|分別是區(qū)域C_i和C_j中的像素點(diǎn)個(gè)數(shù),f是分割的閾值參數(shù)，設(shè)為50；對(duì)所有像素點(diǎn)進(jìn)行處理后，彩色圖像被過(guò)分割成多個(gè)區(qū)域；

步驟2：對(duì)相似的過(guò)分割區(qū)域進(jìn)行合并

首先，根據(jù)公式(3)計(jì)算每個(gè)區(qū)域的協(xié)方差矩陣A(u(S))：

$A\left(u\right(S\left)\right)=\frac{1}{\left|u\left(S\right)\right|}{\underset{x\∈u(S}{\Σ}}_{)}(x-c(S\left)\right){(x-c(S\left)\right)}^T---\left(3\right)$

其中，c(S)是區(qū)域S的中心點(diǎn)的三維坐標(biāo)，u(S)是區(qū)域S對(duì)應(yīng)的三維點(diǎn)云；|u(S)|為u(S)的頂點(diǎn)數(shù)量；x是點(diǎn)云上u(S)任意一個(gè)點(diǎn)的三維坐標(biāo)；對(duì)A(u(S))進(jìn)行矩陣的特征分解，得到的三個(gè)特征值從大到小分別為w₁(S)、w₂(S)、w_n(S)，對(duì)應(yīng)的三個(gè)特征向量分別為T₁(S)、T₂(S)、N(S)；

然后，對(duì)于圖像中任意兩個(gè)相鄰區(qū)域S_i,S_j,按照公式(4)計(jì)算它們之間的相似度c_smooth：

$c_{smooth}=\frac{\max \left\{\right||N\left(S_i\right)\·\left(c\right(S_i)-c(S_j\left)\right)||,||N\left(S_j\right)\·\left(c\right(S_i)-c(S_j))\left|\right|\}}{\left|\right|N\left(S_i\right)\·N\left(S_j\right)\left|\right|}---\left(4\right)$

其中||·||表示數(shù)量積計(jì)算，N(S_i)與N(S_j)是兩個(gè)區(qū)域計(jì)算得到的最小的特征向量；如果兩個(gè)區(qū)域的相似度c_smooth小于閾值常數(shù)c_thod，相鄰區(qū)域S_i、S_j將合并成為新區(qū)域；其中c_thod設(shè)為0.02m；對(duì)相鄰時(shí)刻所有區(qū)域都進(jìn)行相似度計(jì)算和合并后，得到相鄰時(shí)刻兩組合并后的區(qū)域集合；

步驟3：匹配相鄰時(shí)刻的兩組區(qū)域，對(duì)所有匹配的區(qū)域所對(duì)應(yīng)的點(diǎn)云進(jìn)行三維配準(zhǔn)

從時(shí)刻t_k的區(qū)域集合中取一塊區(qū)域S_m，再?gòu)南乱粫r(shí)刻t_k+1的區(qū)域集合中取一塊區(qū)域S_n，組成區(qū)域?qū)?S_m,S_n)；然后按照公式(5)，計(jì)算S_m與S_n之間的空間位置關(guān)系r_mn；

$r_{mn}=w_{mn}{d}_{mn}\frac{\left|\right|N\left(S_m\right)\left|\right|\·\left|\right|N\left(S_n\right)\left|\right|}{\left|\right|N\left(S_m\right)\·N\left(S_n\right)\left|\right|}---\left(5\right)$

其中，d_mn為兩個(gè)點(diǎn)云區(qū)域之間所有最臨近點(diǎn)對(duì)的平均歐氏距離，按照公式(6)計(jì)算；

$d_{mn}=\frac{1}{\min \left\{\right|u\left(S_m\right)|,|u\left(S_n\right)\left|\right\}}\underset{(x_n,y_n,z_n)\∈u\left(S_n\right)}{\underset{(x_m,y_m,z_m)\∈u\left(S_m\right)}{\Σ}}\sqrt{{(x_m-x_n)}^2+{(y_m-y_n)}^2+{(z_m-z_n)}^2}---\left(6\right)$

其中，(x_m,y_m,z_m)是u(S_m)上的任意點(diǎn)的三維坐標(biāo)，(x_n,y_n,z_n)是在u(S_n)上距離(x_m,y_m,z_m)歐式距離最小的點(diǎn)的三維坐標(biāo)；

w_mn表示兩個(gè)點(diǎn)云的重疊率，按照公式(7)進(jìn)行計(jì)算；

$w_{mn}=\frac{N_w}{\min \left\{\right|u\left(S_m\right)|,|u\left(S_n\right)\left|\right\}}---\left(7\right)$

其中，N_w是兩個(gè)點(diǎn)云中歐式距離最小的點(diǎn)對(duì)距離小于d_thod的點(diǎn)對(duì)數(shù)，其中d_thod設(shè)為0.01m；

然后，對(duì)相鄰兩個(gè)時(shí)刻所有區(qū)域的點(diǎn)云進(jìn)行權(quán)值初始化，具體地，區(qū)域S_m和S_n的權(quán)值e(S_m)，e(S_n)分別初始化為S_m和S_n對(duì)應(yīng)點(diǎn)云u(S_m)和u(S_n)的頂點(diǎn)個(gè)數(shù)占該時(shí)刻所有點(diǎn)云的頂點(diǎn)個(gè)數(shù)合的比例；如果r_mn小于閾值r_thod，那么將該組點(diǎn)云區(qū)域?qū)?S_m,S_n)加入預(yù)處理集合M中，并分別按照公式(8)更新權(quán)值e(S_m)，e(S_n),其中r_thod設(shè)為0.02；

$\begin{array}{c}e\left(S_m\right)\←e\left(S_m\right)-\min \{e\left(S_m\right),e\left(S_n\right)\}\\ e\left(S_n\right)\←e\left(S_n\right)-\min \{e\left(S_m\right),e\left(S_n\right)\}\end{array}---\left(8\right)$

對(duì)所有區(qū)域?qū)Φ狞c(diǎn)云進(jìn)行權(quán)值計(jì)算，迭代更新所有點(diǎn)云的權(quán)值，最終得到包含所有區(qū)域?qū)Φ念A(yù)處理集合M；

進(jìn)一步對(duì)預(yù)處理的區(qū)域?qū)M(jìn)行對(duì)應(yīng)點(diǎn)云的幾何三維配準(zhǔn)；首先從M中取出一對(duì)區(qū)域，對(duì)這兩塊區(qū)域?qū)?yīng)的三維點(diǎn)云分別進(jìn)行幾何特征提?。痪唧w地，對(duì)點(diǎn)云u(S_m)和u(S_n)中的每個(gè)點(diǎn)分別計(jì)算FPFH特；對(duì)點(diǎn)云每個(gè)點(diǎn)周圍距離小于R的點(diǎn)進(jìn)行特征統(tǒng)計(jì)形成點(diǎn)特征直方圖，其中特征統(tǒng)計(jì)包括對(duì)距離、角度的統(tǒng)計(jì)，R取值為0.5m；然后利用采樣一致性初始配準(zhǔn)算法計(jì)算物體的四階變換矩陣，具體地，先在u(S_m)中尋找采樣點(diǎn)，然后在另一個(gè)點(diǎn)云u(S_n)中查找與采樣點(diǎn)FPFH特征相似的所有點(diǎn)，計(jì)算每個(gè)點(diǎn)對(duì)的四階變換矩陣，選擇其中誤差最小的剛體變換矩陣T_kp作為最終變換矩陣；k表示第k時(shí)刻，p表示在預(yù)處理集合M中的第p對(duì)匹配區(qū)域；其中，采樣一致性初始配準(zhǔn)算法中的采樣點(diǎn)之間的距離不應(yīng)小于閾值d_min，設(shè)為0.1m；

步驟4：融合通過(guò)三維配準(zhǔn)得到的所有區(qū)域的變換矩陣

對(duì)于同一個(gè)時(shí)刻k，將該時(shí)刻所有區(qū)域的變換矩陣T_kp融合成該時(shí)刻的完整變換矩陣T_k，假設(shè)時(shí)刻k總共有p_k組區(qū)域?qū)Γ凑展?9)計(jì)算融合后的變換矩陣T_k；

$T_k=X\·\left(\begin{array}{c}\frac{1}{\underset{p=1}{\overset{p_k}{\Σ}}{w}_{kp}}\underset{p=1}{\overset{p_k}{\Σ}}{w}_{kp}{T}_{kp}\\ \frac{1}{\underset{p=1}{\overset{p_k}{\Σ}}{d}_{kp}}\underset{p=1}{\overset{p_k}{\Σ}}{d}_{kp}{T}_{kp}\end{array}\right)---\left(9\right)$

其中X為權(quán)值矩陣，設(shè)為(0.70.3)，T_kp是時(shí)刻k時(shí)的第p對(duì)區(qū)域點(diǎn)云配準(zhǔn)得到的變換矩陣，w_kp是時(shí)刻k時(shí)的第p對(duì)區(qū)域點(diǎn)云的重疊率，按照公式(7)進(jìn)行計(jì)算，d_kp是時(shí)刻k時(shí)的第p對(duì)區(qū)域點(diǎn)云的平均歐式距離，按照公式(8)進(jìn)行計(jì)算；

步驟5：將不同時(shí)刻的深度點(diǎn)云進(jìn)行點(diǎn)云融合與三維表面重建

將空間劃分成128³個(gè)柵格立方體，將點(diǎn)云分布在柵格立方體中，然后計(jì)算每幀融合后每個(gè)柵格立方體的TSDF值；

為了計(jì)算每個(gè)柵格立方體中的截?cái)喾?hào)距離函數(shù)，首先要計(jì)算每個(gè)柵格立方體中的符號(hào)距離函數(shù)sdf_kg(x)，k表示第k時(shí)刻，g表示第g個(gè)柵格立方體，sdf_kg(x)代表著點(diǎn)云上任意一點(diǎn)x的符號(hào)距離函數(shù)，按照公式(10)進(jìn)行計(jì)算：

sdf_kg(x)＝dis(v_g,t_k)-D_k (10)

其中，t_k是相機(jī)光心在三維坐標(biāo)系下的坐標(biāo)，相機(jī)光心坐標(biāo)設(shè)為(320,240)，v_g是柵格g在三維坐標(biāo)系下的坐標(biāo)，dis(v_g,t_k)表示柵格到光心的距離，D_k是圖像中x對(duì)應(yīng)的像素點(diǎn)所對(duì)應(yīng)的深度值，由Kinect設(shè)備相機(jī)采集得到；如果sdf_kg(x)大于0，tsdf_kg(x)按照公式(11)計(jì)算，否則按照公式(12)計(jì)算：

tsdf_kg(x)＝min(1,sdf_kg(x)/m_truncation)(11)

tsdf_kg(x)＝min(-1,sdf_kg(x)/m_truncation)(12)

其中m_truncation為常量，取值為10；然后計(jì)算權(quán)重wt_kg(x)，初始值為1；W_kg(x)為迭代后的權(quán)重，計(jì)算公式如(13)所示；

W_kg(x)＝W_k-1,g(x)+wt_kg(x) (13)

最后記錄迭代后的加權(quán)TSDF值，標(biāo)記為TSDF_kg(x)，按照公式(14)計(jì)算；

${\mathrm{TSDF}}_{kg}\left(x\right)=\frac{{\mathrm{TSDF}}_{k-1,g}\left(x\right)W_{k-1,g}\left(x\right)+{\mathrm{tsdf}}_{kg}\left(x\right)w_{kg}\left(x\right)}{W_{k-1,g}\left(x\right)+w_{kg}\left(x\right)}---\left(14\right)$

將W_kg(x)和TSDF_kg(x)存儲(chǔ)在對(duì)應(yīng)的柵格g中，進(jìn)行下個(gè)柵格g+1的計(jì)算；當(dāng)對(duì)所有時(shí)刻的柵格都計(jì)算了截?cái)喾?hào)距離函數(shù)后，所有點(diǎn)云已被存儲(chǔ)在柵格立方體中；然后使用移動(dòng)立方體算法抽取等值面，繪制三維表面，得到立體模型。