[發明專利]基于2D-3D轉換的無人機激光點云與序列影像配準方法

在審

• 申請號: 202011620678.1
• 申請日: 2020-12-31
• 公開（公告）號: CN112767459A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 陳馳
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/12
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.基于2D-3D轉換的無人機激光點云與序列影像配準方法，其特征在于，包括如下步驟：

步驟1，通過運動結構恢復方法恢復標定相機采集的序列影像在攝影測量坐標系中的外方位元素，進而通過多視立體匹配的方法由序列影像生成MVS影像密集點云；

步驟2，在LiDAR點云中進行建筑物屋頂配準基元提取，并通過激光提取結果引導序列影像中的配準基元的提取，最終形成同名角點匹配集合；

步驟3，根據同名角點匹配集合，解算2D-3D粗配準模型，獲得攝影測量坐標系與LiDAR參考坐標系之間的初始轉換關系；

步驟4，將粗配準解算獲得的空間坐標轉換關系作為初始值，使用ICP算法變種，實現MVS影像密集點云與LiDAR點云之間的最優配準，獲得序列影像的精確配準參數。

2.如權利要求1所述的基于2D-3D轉換的無人機激光點云與序列影像配準方法，其特征在于：步驟2的具體實現包括如下子步驟，

步驟2.1，選用標記點過程的方法實現LiDAR點云數據中的建筑物點云的提取，并且使用Recursive Minimum Bounding Rectangle算法進行建筑物外邊界多邊形提取與規則化，得到建筑物外框；

步驟2.2，將POS提供的定姿定位數據轉換為相機外方位元素值，使用共線方程將步驟2.1中提取到的建筑物外框反投影到所有序列影像上，由于反投影后的建筑物外框與真實的影像建筑物位置之間存在嚴重的位置和方向偏移，需要進行進一步的修正，具體修正方法如下，

(1)對反投影區域R1建立緩沖區，緩沖區寬度視區域內初始反投影誤差定，在此區域內進行張量梯度統計，對于一張多通道影像f＝(f¹,f²,...,fⁿ)^T，n為影像通道數，其結構張量定義為：

其中，(ˉ)表示高斯核卷積運算，f_x，f_y表示水平與垂直方向上的梯度；對于彩色無人機影像f＝(R,G,B)^T，進行空間求導運算后，張量G的兩個特征值按式2與式3計算：

其主方向按式4計算

λ₁表示在主方向上的局部衍生能量，λ₂表示在垂直主方向上的局部衍生能量，將張量G的主方向作為張量梯度方向(θ)，其對應的λ₁進行非局部最大值抑制后作為張量梯度的大小；

通過上述方法計算出R1緩沖區內每個像素點的張量梯度大小與方向，并得出緩沖區內張量梯度統計直方圖，將所有的LiDAR建筑物外框反投影到序列影像上，分析反投影緩沖區區域內的張量梯度統計圖，對于不具備矩形、L形張量梯度方向統計特性的區域進行剔除，保留區域內存在單峰、雙峰張量梯度方向特性的反投影區域R1’；

(2)旋轉反投影區域R1’到張量梯度方向統計峰值的垂直方向，即建筑物長邊方向，得到旋轉后的R2區域；以R2區域為核，構建緩沖區，在R2的主方向與垂直主方向上進行緩沖區滑動，統計R2與其緩沖區構成的區域內的張量梯度大小的和，在局部極大響應處停止滑動，將此區域作為進行序列影像建筑物基元提取的最優選區R3；使用基于全局對比度顯著性檢測的分割方法，在R3區域內進行建筑序列物影像的分割，對分割結果進行輪廓提取，并使用RMBR算法進行規則化，即可得到規則化的序列影像建筑物配準基元；

步驟2.3，對于區域R3的外多邊形角點和序列影像配準基元規則化后獲得的外多邊形角點，計算兩個外多邊形角點之間在像平面上的空間距離，并依據空間鄰近性準則生成同名角點；同時，根據序列影像中選擇的同名角點，獲取MVS影像密集點云與LiDAR點云的同名角點匹配集合。