[發(fā)明專利]一種低空航拍圖像拼接方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110388923.9
• 申請日: 2021-04-12
• 公開（公告）號: CN113096016A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 李新德;李一帆;葛樹志
• 申請（專利權(quán)）人: 廣東省智能機(jī)器人研究院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 羅曉林;唐琴

一種低空航拍圖像拼接方法和系統(tǒng)，所述方法包括：搭建語義分割網(wǎng)絡(luò)，采集低空航拍圖像數(shù)據(jù)集，對所述圖像數(shù)據(jù)中的顯著建筑物進(jìn)行標(biāo)注，將經(jīng)標(biāo)注的圖像數(shù)據(jù)送入語義分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練；將待拼接航拍圖送入經(jīng)訓(xùn)練得到的語義分割模型中進(jìn)行針對所述顯著建筑物的檢測和像素級分割，獲取所述顯著建筑物的外接矩形圖，并在所述待拼接航拍圖中對應(yīng)所述外接矩形圖的區(qū)域留白，獲得正射性最佳的正射外接矩形圖；對留白處理后的至少兩張待拼接航拍圖進(jìn)行拼接后獲得初始拼接圖，將所述正射外接矩形圖進(jìn)行擴(kuò)充，所得到的擴(kuò)充矩形圖和所述初始拼接圖融合得到結(jié)果拼接圖。利用本發(fā)明能夠有效解決拼接低空航拍產(chǎn)生的非正射、鬼影、錯切問題。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種低空航拍圖像拼接方法和系統(tǒng)。

背景技術(shù)

無人機(jī)由于其機(jī)動性強(qiáng)、易于操作、成像分辨率高等特點(diǎn)，在進(jìn)行偵察、監(jiān)測等任務(wù)時容易獲得目標(biāo)區(qū)域較為清晰的地貌特征和細(xì)節(jié)紋理，但是受制于無人機(jī)的飛行高度、相機(jī)角度以及圖片分辨率的限制，單張航拍圖片只能包含局部區(qū)域，無法獲得目標(biāo)區(qū)域的全貌。通過對系列航拍圖像進(jìn)行拼接則可以獲得該區(qū)域的全景圖，在一定程度上解決這個問題。但是，當(dāng)無人機(jī)低空在建筑區(qū)上方飛行時，部分建筑物高度相對于無人機(jī)高度將不再可以忽略不計(jì)，此時傳統(tǒng)的拼接方法無法滿足圖像拼接中景深遠(yuǎn)大于焦距的假設(shè)，直接進(jìn)行拼接將產(chǎn)生兩個問題：1、同一建筑物的側(cè)視圖和正視圖同時出現(xiàn)時影響圖像配準(zhǔn)，產(chǎn)生鬼影和錯切問題；2、非正射圖像會對周圍對象形成遮擋，造成拼接后圖片的細(xì)節(jié)損失。

目前，如果能夠已知高精度數(shù)字高程模型(DEM)，可以對圖片進(jìn)行微調(diào)從而得到正射影像(DOM)進(jìn)行拼接；但是DEM獲取困難，且十分耗時；此外，三維重建技術(shù)在恢復(fù)點(diǎn)云過程中極易產(chǎn)生誤差，使得矯正后的拼接結(jié)果并非完全正射拼接。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的缺陷，提供一種低空航拍圖像拼接方法和系統(tǒng)，能夠適應(yīng)拍攝環(huán)境變化，有效的解決低空航拍遇到的拼接圖片非正射、鬼影、錯切問題。

本發(fā)明首先提供一種低空航拍圖像拼接方法，包括以下步驟：

步驟S1，搭建語義分割網(wǎng)絡(luò)，采集低空航拍圖像數(shù)據(jù)集，所述圖像數(shù)據(jù)包括對顯著建筑物進(jìn)行多角度俯拍的圖像數(shù)據(jù)，所述顯著建筑物的建筑高度達(dá)到設(shè)定的高度閾值，對所述顯著建筑物進(jìn)行標(biāo)注，將經(jīng)標(biāo)注的圖像數(shù)據(jù)送入語義分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到經(jīng)訓(xùn)練的語義分割模型；

步驟S2，將至少兩張分別包含至少同一顯著建筑物的待拼接航拍圖送入經(jīng)訓(xùn)練的語義分割模型中進(jìn)行針對所述顯著建筑物的檢測和像素級分割，獲取所述顯著建筑物的外接矩形圖，并在所述待拼接航拍圖中對應(yīng)所述外接矩形圖的區(qū)域留白，通過計(jì)算各外接矩形圖和對應(yīng)的各待拼接航拍圖中心的歐式距離獲得正射性最佳的正射外接矩形圖；

步驟S3，對留白處理后的至少兩張待拼接航拍圖進(jìn)行特征提取、圖像配準(zhǔn)和圖像融合后獲得初始拼接圖，將所述正射外接矩形圖在對應(yīng)的待拼接航拍圖進(jìn)行擴(kuò)充，所得到的擴(kuò)充矩形圖和所述初始拼接圖經(jīng)特征提取、圖像配準(zhǔn)和圖像融合后形成結(jié)果拼接圖。

進(jìn)一步地，在步驟S1中，以灰度值作為標(biāo)簽，對數(shù)據(jù)集中的顯著建筑物與數(shù)據(jù)集中的其他背景圖像進(jìn)行標(biāo)注區(qū)分。

進(jìn)一步地，在步驟S1中，搭建水域識別的語義分割網(wǎng)絡(luò)SegNet_UAV,所述SegNet_UAV為基于SegNet改進(jìn)的編碼-解碼對稱網(wǎng)絡(luò)模型，在特征提取上采用雙路特征提取方式，一路特征提取基于常規(guī)卷積方式，另一路特征提取基于空洞卷積方式，所述SegNet_UAV引入殘差連接。

進(jìn)一步地，在步驟S1中，將經(jīng)處理的圖像數(shù)據(jù)集送入語義分割網(wǎng)絡(luò)訓(xùn)練后，將測試集送入網(wǎng)絡(luò)測試，當(dāng)測試集的平均像素精確度達(dá)到設(shè)定閾值時，則視為網(wǎng)絡(luò)模型訓(xùn)練完畢，像素精確度的計(jì)算公式為：