[發明專利]聯合激光掃描和影像匹配的三維點云生成方法

有效

• 申請號: 201610968752.6
• 申請日: 2016-10-28
• 公開（公告）號: CN106780712B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 黃旭;周剛;陸正武;樊海波;蔡剛山;范超
• 申請（專利權）人: 武漢市工程科學技術研究院
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 潘杰;李滿

1.一種聯合激光掃描和影像匹配的三維點云生成方法，其特征在于，它包括如下步驟：

步驟1：根據原始激光探測與測量點云數據，生成數字表面模型，提取數字表面模型中的無效區域，將該無效區域中最小外接矩形的四個角點，分別投影到三維重建測區的影像上，生成一個三維重建測區影像上的四邊形區域，該四邊形區域即可認為是激光探測與測量點云數據中的無效區域在三維重建測區影像上對應的范圍；

步驟2：將激光探測與測量點云數據中的無效區域在三維重建測區影像上對應的范圍作為三維重建測區影像的密集匹配區域，根據該三維重建測區影像的密集匹配區域構建影像金字塔，從金字塔頂層開始，采用半全局密集匹配方法進行由粗到精的分級匹配，獲得密集匹配區域的二維視差圖，并采用前方交會的方式，生成三維重建測區影像密集匹配區域對應的三維點云數據；

步驟3：采用Canny邊緣檢測算子，在三維重建測區影像上提取線特征，將每個線特征作為一個密集匹配區域，分別進行影像密集匹配，由于線特征只有一維，因此匹配方式采用沿著線特征方向的一維動態規劃的優化方式，獲取密集匹配區域的視差圖，并采用前方交會的方式，生成線特征對應的三維點云數據；

步驟4：在原始激光探測與測量點云數據的基礎上，采用點云融合技術將步驟2生成的三維重建測區影像密集匹配區域對應的三維點云數據，以及步驟3生成的線特征對應的三維點云數據進行三維點云融合，生成融合激光探測與測量點云和密集匹配點云的三維重建點云；

所述步驟4中，在步驟2中的三維重建測區影像密集匹配區域對應的三維點云數據，以及步驟3中的線特征對應的三維點云數據進行三維點云融合前，需要判斷哪些匹配點位于激光探測與測量點云有效區域，哪些匹配點位于激光探測與測量點云無效區域；

所述步驟2中，將三維重建測區影像的密集匹配區域構建影像金字塔的方法為：定義S為影像金字塔重采樣的尺度，上一級影像金字塔的一個像素，會對應下一級影像金字塔S×S的區域，影像金字塔構建方式如下式所示；

式中，gⁿ表示上一級第n層影像金字塔的像素灰度；表示下一級第n-1層影像金字塔第i個像素的灰度，S²＝S×S；

在構建影像金字塔后，采用由粗到精的分級匹配策略，獲得密集匹配區域的二維視差圖，在影像金字塔頂層開始，采用半全局的密集匹配策略，每個像素受到八個方向掃描線的代價累積，在每條掃描線上，代價積聚方式為：

式中，L_r(p,d)表示像素p在當前掃描線對應視差d的累積代價；L_r(p-1,d)表示像素p-1在當前掃描線對應視差d的累積代價；L_r(p-1,d-1)表示像素p-1在當前掃描線對應視差d-1的累積代價；L_r(p-1,d+1)表示像素p-1在當前掃描線對應視差d+1的累積代價；表示像素p-1在當前掃描線對應視差k的累積代價中，最小的累積代價，其中k的絕對值大于1；表示像素p-1在當前掃描線對應視差i的累積代價中，最小的累積代價；r表示掃描線的方向；C(p,d)表示當前像素p對應視差d的代價；p–1表示在當前路徑上，像素p的前一個像素；P₁表示視差平滑項懲罰因子；P₂表示視差階躍項懲罰因子；

對無效區域影像進行8個方向的代價累積，最后對各個方向的累積結果相加，得到最終的代價積聚結果，如下式所示：

式中，S(p,d)表示對各個方向代價積聚結果相加后，得到的總體代價積聚結果，采用Winner Takes All策略獲取頂層影像的初始視差圖，將初始視差圖傳遞到下一級影像金字塔，約束下一級影像金字塔的視差搜索范圍，然后再次采用半全局的密集匹配方法，獲取視差圖，并向下一級影像金字塔傳遞，直至計算到影像金字塔底層為止，根據視差圖，可以快速獲得立體影像的同名點坐標，如下式所示：

x_r＝x_l-d y_r＝y_l

式中，(x_l,y_l)、(x_r,y_r)分別表示左右影像的同名點坐標；d表示視差值，根據左右影像的同名點坐標，確定對應的三維點坐標：

B_u＝X_S2-X_S1 B_v＝Y_S2-Y_S1 B_w＝Z_S2-Z_S1

X＝X_S1+U₁＝X_S2+U₂

Y＝Y_S1+V₁＝Y_S2+V₂

Z＝Z_S1+W₁＝Z_S2+W₂

式中，X、Y、Z表示物方點的三維坐標；f表示相機的焦距參數；R_i(i＝1,2)表示旋轉矩陣；X_s1、Y_s1、Z_s1、X_s2、Y_s2、Z_s2表示外方位線元素，U₁、V₁、W₁表示地面點在左影像像空間輔助坐標系中的坐標；U₂、V₂、W₂表示地面點在右影像像空間輔助坐標系中的坐標；u₁、v₁、w₁表示像點在左影像像空間輔助坐標系中的坐標；u₂、v₂、w₂表示像點在右影像像空間輔助坐標系中的坐標；B_u、B_v、B_w表示相機之間的基線分量；N₁、N₂表示點投影系數；只要無效區域在影像上是可見的，即可根據影像密集匹配技術恢復無效區域的三維點云；

所述步驟3，采用canny算子，在三維重建測區影像上提取線特征，將每個線特征作為一個密集匹配區域，分別進行影像密集匹配，具體方法為，沿著線特征的方向，采用一維動態規劃方法，進行代價積聚，如下式所示：

式中，L_r(p,d)表示像素p在當前線特征方向上對應視差d的累積代價；r表示線特征的方向；C(p,d)表示當前像素p對應視差d的代價；p–1表示在當前路徑上，像素p的前一個像素；

由于線特征一般存在正反兩個方向，因此上式所示的代價積聚也存在兩個方向，將兩個方向的代價積聚結果累加，得到最終的代價積聚結果，采用Winner Takes All策略獲取每條線特征的視差值，計算對應的同名點對，并生成線特征對應的三維點云數據；

所述步驟4中，在步驟2中的三維重建測區影像密集匹配區域對應的三維點云數據，以及步驟3中的線特征對應的三維點云數據進行三維點云融合前，需要判斷哪些匹配點位于激光探測與測量點云有效區域，哪些匹配點位于激光探測與測量點云無效區域，如下式所示：

m＝(X_i-X_lb)/s_D n＝(Y_i-Y_lb)/s_D

其中，P(X_i,Y_i,Z_i)表示坐標為(X_i,Y_i,Z_i)的三維點；None表示該點不參與融合；Exist表示該點參與融合；Z_DSM表示該點所在數字表面模型網格的高程；(m,n)表示該點所在網格的行列號，valid表示有效值，即數字表面模型網格內存在激光點；invalid表示無效值，即數字表面模型網格內不存在任何激光點；(X_i,Y_i)表示三維點的平面坐標；(X_lb,Y_lb)表示數字表面模型的起點；S_D表示數字表面模型網格的大小，上式表明，當該匹配點落入的數字表面模型網格存在有效高程，則說明該匹配點是有效區域的匹配點，不參與融合過程；否則，說明該匹配點是無效區域的匹配點，參與融合。

2.根據權利要求1所述的聯合激光掃描和影像匹配的三維點云生成方法，其特征在于：所述步驟1中，計算無效區域中最小外接矩形的四個角點的X、Y坐標的方式如下：

X_lb＝min{Xl_i|i＝1…t} Y_lb＝min{Yl_i|i＝1…t}

X_rt＝max{Xl_i|i＝1…t} Y_rt＝max{Yl_i|i＝1…t}

其中，t表示原始激光探測與測量點云數據中三維點的數目；(Xl_i,Yl_i)表示第i個激光探測與測量點的X、Y坐標；(X_lb,Y_lb)表示無效區域中最小外接矩形左下角的角點坐標；(X_rt,Y_rt)表示無效區域中最小外接矩形右上角的角點坐標，(X_lb,Y_rt)表示無效區域中最小外接矩形左上角的角點坐標，(X_rt,Y_lb)表示無效區域中最小外接矩形右下角的角點坐標；

將激光探測與測量點云數據的最小外接矩形范圍定義為數字表面模型范圍，數字表面模型的起點為無效區域中最小外接矩形左下角的角點，定義數字表面模型的正方形網格的大小為s_D x s_D，s_D＝σxs，其中，s表示激光探測與測量點云數據中點和點之間的平均間距，σ表示數字表面模型的網格大小與上述激光探測與測量點云數據中點和點之間平均間距之間的比值；

則數字表面模型的寬W_D和高H_D分別為：

W_D＝(int)(X_rt-X_lb)/s_D；H_D＝(int)(Y_rt-Y_lb)/s_D

其中，int表示取整操作，從而將數字表面模型定義為一個H_D x W_D大小的規則格網，該規則格網的起點為(X_lb,Y_lb)；如果數字表面模型的網格內不存在任何激光探測與測量點，則該數字表面模型的網格定義為無效區域；否則，該數字表面模型的網格定義為有效區域，在有效區域中，每個數字表面模型網格都存在至少一個激光探測與測量點，每個數字表面模型網格的高程為對應激光探測與測量點的最大高程，如下式所示：

Z(m,n)＝max(Z_i|(int)(X_i-X_lb)/s_D＝n；(int)(Y_i-Y_lb)/s_D＝m)

其中，(int)(X_i-X_lb)/s_D＝n；(int)(Y_i-Y_lb)/s_D＝m表示坐標為(X_i,Y_i)的激光探測與測量點落入數字表面模型第m行第n列的網格中；Z_i表示第i個激光探測與測量點的Z坐標；Z(m,n)表示數字表面模型網格(m,n)的高程，取落入網格中所有激光探測與測量點的最大高程；

根據所述無效區域內每個數字表面模型網格的X、Y坐標，定義無效區域的最小外接矩形，如下式所示：

N_lb＝min{n_i|i∈Ω} M_lb＝min{m_i|i∈Ω}

N_rt＝max{n_i|i∈Ω} M_rt＝max{m_i|i∈Ω}

其中，N_lb表示數字表面模型網格所有n列中的最小值，M_lb表示數字表面模型網格所有n列中的最大值，N_rt表示數字表面模型網格所有m行中的最小值，M_rt表示數字表面模型網格所有m行中的最大值，N_lb、M_lb、N_rt和M_rt共同定義了無效區域最小外接矩形的范圍；Ω表示無效區域中數字表面模型網格的集合；n表示數字表面模型的網格的列數；m表示數字表面模型的網格的行數；

根據無效區域外接矩形四個角點的數字表面模型行列坐標，獲得四個角點的物方空間三維坐標，如下式所示：

X_c＝X_lb+n x s_D Y_c＝Y_lb+m x s_D Z_c＝Z(m,n)

其中，(m,n)表示無效區域外接矩形角點的數字表面模型行列坐標；X_c、Y_c、Z_c分別表示無效區域外接矩形角點的物方三維坐標；

最后，通過共線方程，將無效區域外接矩形角點反投影到三維重建測區影像上得到無效區域在三維重建測區影像上的范圍，生成無效區域的影像，即三維重建測區影像密集匹配區域，如下式所示：

其中，x_c、y_c表示無效區域外接矩形角點在三維重建測區影像上的坐標；x₀、y₀表示相機內像主點坐標參數，f表示相機的焦距參數；Xs、Ys、Zs表示相機的外方位線元素；a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂、c₃表示攝影坐標系與大地坐標系之間的旋轉矩陣的九個元素。