[發明專利]基于機器學習和特征點識別的無人機圖像快速拼接方法

有效

• 申請號: 202010969798.6
• 申請日: 2020-09-15
• 公開（公告）號: CN112150359B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 雷添杰;鄧安軍;張春再;李愛麗;胡海華;徐瑞瑞;王黨偉;王嘉寶;宮阿都
• 申請（專利權）人: 中國水利水電科學研究院;北京航遙天地科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04;G06K9/62;G06V10/46;G06V20/17;G06V10/764
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 何凡

本發明公開了一種基于機器學習和特征點識別的無人機圖像快速拼接方法，首先選定一張基準影像，使其與其周圍9張臨近影像使用基于GPU并行加速優化的改進SURF算法進行特征點的提取，減少了基準影像多次提取特征點所耗費的時間，并減少了影像連乘累積誤差，再使用機器學習計算的描述特征向量改進SURF算法的描述特征向量，大幅度提高特征點匹配的精度，實現影像配準。本發明基于SURF算法+機器學習+GPU+PROSAC算法+圖像分塊拼接技術，構建了一種無人機遙感影像快速高效的處理方法，速度比傳統SURF算法運行更快，精度得到了大幅度提高，在實時性方面的發揮更突出。

技術領域

本發明屬于全景圖像拼接技術領域，具體涉及一種基于機器學習和特征點識別的無人機圖像快速拼接方法的設計。

背景技術

全景圖像拼接在攝影測量、計算機視覺、圖像處理和計算機圖形學等領域有著廣泛的研究文獻和若干商業應用。隨著無人機在軍事偵察、抗災救災、森林火災監測、遙感遙測等領域的應用越來越廣泛,它的獨有特點吸引了越來越多的國內外專家學者投入到無人機關鍵技術的研究中。無人機圖像拼接技術是運用圖像拼接技術,將無人機航拍圖像進行拼接,形成一幅大場景的直觀易理解的圖像。由于航拍圖像的數據量大、數據處理時間長及作業強度高等問題的存在，如何高效的實現無人機航拍序列圖像的拼接已經成為了一個熱點研究問題。

為了得到大視場、高分辨率、高清晰度的無人機影像，需要將多幅小視場的序列圖像進行拼接融合。目前應用最廣泛的圖像拼接方法為基于尺度不變換特征(sift)的圖像拼接方法，該方法對圖像旋轉、縮放、尺度變換及光照差異等都具有很強的魯棒性，但也存在原理復雜、計算量大、耗時長等缺點?，F有的無人機影像拼接方法通過兩幅影像配準結束在與下一幅影像進行拼接，直至所有影像拼接完成，雖然部分方法通過在重疊區范圍內提取特征點，進行影像拼接，雖在一定程度提高了運算效率，但運算效率提高較低，這類拼接方式需對每一幅影像進行多次特征點提取、匹配等操作，耗費大量時間，無法滿足實時性的要求，并且部分方法通過降低影像分辨率的方式進行快速拼接，雖然提高了算法運行時間，但丟失了大量影像細節信息，不利于后續的實際應用?，F有技術中的拼接方法都或多或少的存在拼接效果不理想、冗余消息多、拼接效率低且拼接時間長的缺點，鑒于此，如何提供一種穩定性和拼接效果好、拼接時間短、拼接效率高的無人機航拍序列圖像快速拼接方法是本領域技術人員需要解決的技術問題。

發明內容

本發明的目的是為了解決現有的無人機圖像快速拼接方法存在拼接效果不理想、冗余消息多、拼接效率低且拼接時間長的問題，提出了一種基于機器學習和特征點識別的無人機圖像快速拼接方法。

本發明的技術方案為：一種基于機器學習和特征點識別的無人機圖像快速拼接方法，包括以下步驟：

S1、實時獲取無人機航拍采集的影像數據，從影像數據中隨機指定基準影像，并通過無人機航拍過程中的經緯度信息確定基準影像的9張臨近影像。

S2、采用基于GPU并行加速優化的改進SURF算法對基準影像以及9張臨近影像同時進行特征關鍵點提取，并根據提取的特征關鍵點得到第一特征向量。

S3、對步驟S2提取的特征關鍵點在周圍64×64的像素區域進行特征點裁剪，得到深度學習模型的輸入影像。

S4、對訓練好的VGG16深度學習模型進行剪枝，得到改進的深度學習模型。

S5、將深度學習模型的輸入影像輸入至改進的深度學習模型中，提取改進的深度學習模型中第一層全連接層的4096維特征向量。

S6、對步驟S5中提取得到的4096維特征向量進行PCA降維，得到第二特征向量。

S7、將第一特征向量和第二特征向量進行結合，得到新的特征向量描述子。

S8、根據新的特征向量描述子，采用基于最近鄰和次近鄰距離比值的方法對兩幅影像中的特征點進行匹配，得到正確匹配的特征點對與錯誤匹配的特征點對。