[發明專利]基于2D-3D轉換的無人機激光點云與序列影像配準方法

在審

• 申請號: 202011620678.1
• 申請日: 2020-12-31
• 公開（公告）號: CN112767459A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 陳馳
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/12
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明提出了一種基于2D?3D模型轉換的無人機激光點云與序列影像配準方法，以無人機MMS成像數據為研究對象，針對其數據特點，制定兩步法配準模型應用策略，具體化距離成像與可見光成像數據兩步法配準模型中定義的配準基元提取與匹配、由粗到精的配準算法，完成無人機MMS成像數據的配準。該方法可以較好解決初始配準誤差較大或無初始配準參數條件下的無人機MMS采集的LiDAR點云數據與序列影像的配準問題。

技術領域

本發明屬于無人機測量數據融合中自動數據配準的應用，提出一種全新的激光點云與序列影像自動配準方法。

背景技術

無人機移動測量系統實現了中低空遙感數據的覆蓋，是傳統攝影測量與遙感手段的有效補充，提供了包括高分辨率LiDAR(Light Detection and Ranging，激光測距)點云、航空影像等多種對地觀測數據，在高精度地圖構建、森林生物量估計、電力巡檢等方面得到廣泛應用。無人機平臺由于載荷與成本的限制，攜帶輕小型或無POS系統，直接地理定向數據精度有限或無直接地理定向數據。無人機移動測量多在無地面控制點條件下進行數據采集，少有地面控制場對LiDAR點云與影像數據成果進行精度控制。同時，移動測量系統多傳感器數據之間存在固有的配準誤差，直接導致無人機MMS(Mobile Mapping System，移動測量系統)采集的LiDAR點云數據與序列影像之間不能直接配準融合，只能單源使用，進而降低無人機MMS成像數據的可用性。

近年來，部分學者(例如，Habib等人，2005年；Mastin等人，2009年；Mitishita等人，2008年；Parmehr等人，2014年)在激光雷達數據和衛星拍攝的光學圖像之間的配準方面做了許多研究。然而，由于使用小型無人機進行激光掃描仍是一項新的研究領域，因此人們對小型無人機拍攝的激光雷達數據和光學圖像的配準工作關注較少。另一方面，由于小型無人機的傳感器精度和重量之間的權衡，使用直接地理參照數據與現有的ALS數據和圖像的配準方法可能會導致配準失敗。此外，小型無人機的低飛行高度和產生的相對較高分辨率的圖像增大了配準偏差，這種偏差可能達到幾十個或幾百個像素，導致小型無人機激光雷達數據和圖像之間難以實現精確配準。

目前主流的配準方法主要分為兩大類，基于區域的配準方法和基于特征的配準方法。基于區域的方法通過最大限度地提高激光雷達數據和光學圖像中相應圖像區域的統計或灰度相似性來優化光學圖像的EoPs。共軛區域匹配是這類方法的關鍵步驟。局部或全局相似度通常采用互有信息測量，利用待配準數據之間的統計依賴關系，得出相似度測量值。由于其非線性聯合概率特性，互有信息作為一種異構數據的配準技術已被廣泛采用(LeMoigne等，2011；Suri和Reinartz，2010)。Mastin等(2009)通過最大化灰度編碼高度或回波脈沖強度與光學影像之間的相互信息，將航空影像配準到LiDAR點云上。然而，在激光雷達數據和微型無人機影像的情況下，使用基于區域的方法可能會導致配準失敗。

基于特征的方法通過從圖像和激光雷達數據中提取特征來執行配準任務，以建立相機姿勢估計的對應關系。各種類型的標量變量或幾何基元可用于形成共軛特征。根據和Haggrén(2012)，使用人工特征的配準精度高于使用自然特征(如樹冠)的配準精度。Palenichka和Zaremba(2010)結合強度描述符、區域形狀特征和坐標，從LiDAR數據以及自然景觀和帶有人造物體的結構化場景的圖像中自動提取控制點。局部尺度不變的圖像特征，如尺度不變特征變換(SIFT)(Lowe，2004)也被廣泛用于解決異構數據配準問題。和Becker(2007)利用SIFT特征檢測器來匹配重飛圖像和圖像之間的相應特征點。其次，LiDAR數據邊緣的離散采樣點的線性特征也被用來配準LiDAR數據和圖像。Habib等(2005)提出了一種利用線段對的激光雷達數據和影像的聯合配準框架。