[發明專利]一種低空航拍圖像拼接方法和系統

在審

• 申請號: 202110388923.9
• 申請日: 2021-04-12
• 公開（公告）號: CN113096016A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 李新德;李一帆;葛樹志
• 申請（專利權）人: 廣東省智能機器人研究院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 羅曉林;唐琴

1.一種低空航拍圖像拼接方法，其特征在于，包括以下步驟：

步驟S1，搭建語義分割網絡，采集低空航拍圖像數據集，所述圖像數據包括對顯著建筑物進行多角度俯拍的圖像數據，所述顯著建筑物的建筑高度達到設定的高度閾值，對所述顯著建筑物進行標注，將經標注的圖像數據送入語義分割網絡進行訓練，得到經訓練的語義分割模型；

步驟S2，將至少兩張分別包含至少同一顯著建筑物的待拼接航拍圖送入經訓練的語義分割模型中進行針對所述顯著建筑物的檢測和像素級分割，獲取所述顯著建筑物的外接矩形圖，并在所述待拼接航拍圖中對應所述外接矩形圖的區域留白，通過計算各外接矩形圖和對應的各待拼接航拍圖中心的歐式距離獲得正射性最佳的正射外接矩形圖；

步驟S3，對留白處理后的至少兩張待拼接航拍圖進行特征提取、圖像配準和圖像融合后獲得初始拼接圖，將所述正射外接矩形圖在對應的待拼接航拍圖進行擴充，所得到的擴充矩形圖和所述初始拼接圖經特征提取、圖像配準和圖像融合后形成結果拼接圖。

2.根據權利要求1所述的低空航拍圖像拼接方法，其特征在于，在步驟S1中，以灰度值作為標簽，對數據集中的顯著建筑物與數據集中的其他背景圖像進行標注區分。

3.根據權利要求1所述的低空航拍圖像拼接方法，其特征在于，在步驟S1中，搭建水域識別的語義分割網絡SegNet_UAV,所述SegNet_UAV為基于SegNet改進的編碼-解碼對稱網絡模型，在特征提取上采用雙路特征提取方式，一路特征提取基于常規卷積方式，另一路特征提取基于空洞卷積方式，所述SegNet_UAV引入殘差連接。

4.根據權利要求1所述的低空航拍圖像拼接方法，其特征在于，在步驟S1中，將經處理的圖像數據集送入語義分割網絡訓練后，將測試集送入網絡測試，當測試集的平均像素精確度達到設定閾值時，則視為網絡模型訓練完畢，像素精確度的計算公式為：

其中，PA表示判斷正確的像素占總像素的比率,將像素分成0-k類，合共k+1個類別，P_ij表示本屬于i類但是被判斷為j類的像素數量，P_ii表示分類判斷正確的像素數量。

5.根據權利要求1所述的低空航拍圖像拼接方法，其特征在于，在步驟S2中，根據步驟S1的語義分割結果，遍歷所述待拼接航拍圖獲得所述顯著建筑物的上方、下方、左邊和右邊的最遠點坐標并以所述最遠點坐標作為邊界獲得建筑物的外接矩形圖，提取所述外接矩形圖，并將所述外接矩形圖位于所述待拼接航拍圖的區域的RGB色彩賦值為(255，255，255)。

6.根據權利要求1所述的低空航拍圖像拼接方法，其特征在于，在步驟S2中，計算各外接矩形圖和對應的各待拼接航拍圖中心的歐式距離，計算公式如下：

其中，第n張待拼接航拍圖的中心點坐標為(O_nx,O_ny)、從第n張待拼接航拍圖分離出的外接矩形圖中心點的坐標為(x_n,y_n)，當二者間的歐氏距離最小時，所對應的外接矩形圖正射性最佳。

7.根據權利要求1所述的低空航拍圖像拼接方法，其特征在于，在步驟S3中，對留白處理后的至少兩張待拼接航拍圖進行特征提取、圖像配準和圖像融合后獲得初始拼接圖包括：

采用SIFT算法獲得所述待拼接航拍圖的特征點；

采用隨機樣本一致算法進行匹配點對的提純，通過剔除錯誤匹配點對優化匹配結果；

利用篩選之后的匹配點對獲得的變換矩陣對所述待拼接航拍圖進行變換，然后采用加權融合的方式對拼接結果進行優化。

8.根據權利要求1所述的低空航拍圖像拼接方法，其特征在于，在步驟S3中，對所述正射外接矩形圖在對應的待拼接航拍圖上向上、下、左、右四個方向分別進行若干個像素的擴充，獲得所述擴充矩形圖。