[發(fā)明專利]基于無人機(jī)航拍序列圖像的樹木三維重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310375676.4
• 申請(qǐng)日: 2013-08-26
• 公開（公告）號(hào): CN103426200A
• 公開（公告）日: 2013-12-04
• 發(fā)明（設(shè)計(jì)）人: 馮志勇;陸澤萍;徐超;張東萍;王丹丹
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06T7/00
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李素蘭

1.一種基于無人機(jī)航拍序列圖像的樹木三維重建方法，其特征在于，該方法包括以下步驟：

步驟一、對(duì)無人機(jī)航拍獲得的兩張相鄰的樹木序列圖像，從中分別截取大小相同同一樹冠圖像一、樹冠圖像二，用grabcut算法去除背景，僅保留樹冠區(qū)域；

步驟二、對(duì)去除背景的樹冠圖像一，使用分水嶺分割算法做分割，得到明暗區(qū)域劃分，計(jì)算每個(gè)分割區(qū)域的形心作為在樹冠圖像一上提取的特征點(diǎn)；

步驟三、計(jì)算樹冠圖像一各特征點(diǎn)在RGB顏色空間下的特征區(qū)域與樹冠圖像二的特征區(qū)域的相關(guān)系數(shù)

c_ij＝Rc_ij+Gc_ij+Bc_ij

其中，Rc_ij，Gc_ij，Bc_ij表示以R、G、B三個(gè)分量分別計(jì)算區(qū)域相關(guān)系數(shù)；

Rcij=Σk=-wnwnΣl=-wmwm{[R1(ui(I)+k,vi(I)+l)-R‾1(ui(I),vi(I))]×[R2(uj(II)+k,vj(II)+l)-R‾2(uj(II),vj(II))]}nσi2(R1)×σj2(R2)]]>

Gcij=Σk=-wnwnΣl=-wmwm{[G1(ui(I)+k,vi(I)+l)-G‾1(ui(I),vi(I))]×[G2(uj(II)+k,vj(II)+l)-G‾2(uj(II),vj(II))]}nσi2(G1)×σj2(G2)]]>

Bcij=Σk=-wnwnΣl=-wmwm{[B1(ui(I)+k,vi(I)+l)-B‾1(ui(I),vi(I))]×[B2(uj(II)+k,vj(II)+l)-B‾2(uj(II),vj(II))]}nσi2(B1)×σj2(B2)]]>

其中，和分別為是樹冠圖像一、樹冠圖像二中第i和第j個(gè)特征點(diǎn)；wn、wm分別為滑動(dòng)窗口的半長和半寬，n為窗口中的像素點(diǎn)個(gè)數(shù)，R₁(u_i，v_i)、G₁(u_i，v_i)、B₁(u_i，v_i)和R₂(u_i，v_i)、G₂(u_i，v_i)、B₂(u_i，v_i)分別為樹冠圖像一、樹冠圖像二上點(diǎn)(u_i，v_i)的R、G、B三個(gè)分量的值，σ_i、σ_j分別為兩幅圖像中第i和第j個(gè)特征點(diǎn)的圖像滑動(dòng)窗口內(nèi)的標(biāo)準(zhǔn)差，其中，圖像的各分量均值計(jì)算如下式：

R分量均值為：

R‾(u,v)=1nΣk=-wnwnΣl=-wmwmR1(u+k,v+l)]]>

G分量均值為：

G‾(u,v)=1nΣk=-wnwnΣl=-wmwmG1(u+k,v+l)]]>

B分量均值為：

B‾(u,v)=1nΣk=-wnwnΣl=-wmwmB1(u+k,v+l)]]>

圖像的各分量的圖像滑動(dòng)窗口內(nèi)的標(biāo)準(zhǔn)差計(jì)算如下式：

R分量的圖像滑動(dòng)窗口內(nèi)的標(biāo)準(zhǔn)差：

σ(R)=1nΣk=-wnwnΣl=-wmwmR2(u+k,v+l)-R‾2(u,v)]]>

G分量的圖像滑動(dòng)窗口內(nèi)的標(biāo)準(zhǔn)差：

σ(G)=1nΣk=-wnwnΣl=-wmwmG2(u+k,v+l)-G‾2(u,v)]]>

B分量的圖像滑動(dòng)窗口內(nèi)的標(biāo)準(zhǔn)差：

σ(B)=1nΣk=-wnwnΣl=-wmwmB2(u+k,v+l)-B‾2(u,v)]]>

在樹冠圖像二中找到樹冠圖像一特征區(qū)域的匹配區(qū)域，以匹配區(qū)域?qū)Φ男涡淖鳛槠ヅ涮卣鼽c(diǎn)，通過最相關(guān)和次相關(guān)比例法去除誤匹配點(diǎn)，具體步驟如下：

以樹冠圖像一的分水嶺分割的每個(gè)區(qū)域的外接矩形作為該區(qū)域匹配時(shí)的窗口大?。?/p>

以同樣大小的窗口在樹冠圖像二上掃描，按上述計(jì)算方法計(jì)算兩幅圖像上窗口區(qū)域內(nèi)的RGB區(qū)域相關(guān)系數(shù)，記錄得到的最大相關(guān)系數(shù)和次大相關(guān)系數(shù)；

計(jì)算最大相關(guān)系數(shù)和次大相關(guān)系數(shù)的比例k，設(shè)定一個(gè)k的閾值K，如果k>K，則把該匹配認(rèn)為是誤匹配舍棄，否則，認(rèn)為該匹配正確并接受；

通過上步得到的兩幅樹冠圖像上的匹配區(qū)域?qū)Γ?jì)算他們的形心作為匹配得到的匹配特征點(diǎn)對(duì)；

步驟四、通過計(jì)算機(jī)立體視覺原理，對(duì)圖像的特征點(diǎn)集合的一系列計(jì)算獲得圖像特征點(diǎn)的三維信息，包括直接獲得圖像的特征點(diǎn)的二維參數(shù)和計(jì)算得到的深度參數(shù)，深度參數(shù)的計(jì)算包括三步，即確定航拍攝像機(jī)的成像模型，即攝像機(jī)的內(nèi)外參數(shù)；通過攝像機(jī)成像模型，確定從二維點(diǎn)到三維點(diǎn)的映射關(guān)系；通過映射關(guān)系獲取圖像的三維點(diǎn)集合；

步驟五、從三維點(diǎn)集合獲取樹木的骨架信息，包括以下處理：

（1）找到Z坐標(biāo)最高點(diǎn)，并且找到最高點(diǎn)和最低點(diǎn)的dz，dz作為樹高，把最高點(diǎn)所在的垂直軸作為樹的中心主干，其深度為1，加入樹干集合TrunkList，并把最高點(diǎn)加入樹干點(diǎn)集IncludePoints；

（2）掃描不在IncludePoints集合中的特征點(diǎn)，找到當(dāng)前點(diǎn)集中離樹干集合距離最小的點(diǎn)p_i以及相應(yīng)的樹干t_i，限制t_i的深度不超過6，并且，分支數(shù)不超過3；

（3）從該樹干t_i向點(diǎn)p_i引出一個(gè)新的樹干t_new與ti的夾角為30°，t_new的深度為t_i的深度加1（限制樹的最大深度不超過4），加入TrunkList時(shí)插入t_i后面，并把點(diǎn)p_i加入已有樹干包含的點(diǎn)集合IncludePoints；

（4）回到（2），直到所有三維散點(diǎn)都在IncludePoints集合中為止；

將上述獲得的骨架信息，利用L系統(tǒng)規(guī)則，首先根據(jù)得到的骨架信息生成L系統(tǒng)語言的編碼串，并讀入編碼串構(gòu)建樹木的骨架結(jié)構(gòu)，并在枝干上加上葉子形成完整的三維樹木模型。