[發明專利]基于機器學習和特征點識別的無人機圖像快速拼接方法

有效

• 申請號: 202010969798.6
• 申請日: 2020-09-15
• 公開（公告）號: CN112150359B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 雷添杰;鄧安軍;張春再;李愛麗;胡海華;徐瑞瑞;王黨偉;王嘉寶;宮阿都
• 申請（專利權）人: 中國水利水電科學研究院;北京航遙天地科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04;G06K9/62;G06V10/46;G06V20/17;G06V10/764
• 代理公司: 北京正華智誠專利代理事務所(普通合伙) 11870
• 代理人: 何凡

1.一種基于機器學習和特征點識別的無人機圖像快速拼接方法，其特征在于，包括以下步驟：

S1、實時獲取無人機航拍采集的影像數據，從影像數據中隨機指定基準影像，并通過無人機航拍過程中的經緯度信息確定基準影像的9張臨近影像；

S2、采用基于GPU并行加速優化的改進SURF算法對基準影像以及9張臨近影像同時進行特征關鍵點提取，并根據提取的特征關鍵點得到第一特征向量；

S3、對步驟S2提取的特征關鍵點在周圍64×64的像素區域進行特征點裁剪，得到深度學習模型的輸入影像；

S4、對訓練好的VGG16深度學習模型進行剪枝，得到改進的深度學習模型；

S5、將深度學習模型的輸入影像輸入至改進的深度學習模型中，提取改進的深度學習模型中第一層全連接層的4096維特征向量；

S6、對步驟S5中提取得到的4096維特征向量進行PCA降維，得到第二特征向量；

S7、將第一特征向量和第二特征向量進行結合，得到新的特征向量描述子；

S8、根據新的特征向量描述子，采用基于最近鄰和次近鄰距離比值的方法對兩幅影像中的特征點進行匹配，得到正確匹配的特征點對與錯誤匹配的特征點對；

S9、采用PROSAC算法剔除錯誤匹配的特征點對，得到兩幅影像的變換矩陣；

S10、采用步驟S8～S9相同的方法同時計算9張臨近影像到基準影像的變換矩陣，實現基準影像與9張臨近影像的拼接；

S11、將9張臨近影像分別作為基準影像，重復步驟S1～S10，實現所有影像的拼接；

所述步驟S2包括以下分步驟：

S21、將基準影像以及9張臨近影像從主機存儲器傳輸到GPU顯示存儲器；

S22、在GPU中對圖像進行集成，生成完整的影像；

S23、固定影像不變，通過改變盒式濾波器來獲取不同尺度的影像，構建SURF算法的尺度空間；

S24、由積分影像經過高斯濾波構造Hessian矩陣，經過盒式濾波器與影像卷積得到Hessian矩陣的判別式，當Hessian矩陣的判別式取得局部極大值時，判定該點為Surf算法的特征關鍵點；

S25、根據特征關鍵點，通過GPU并行計算的方式計算特征主方向；

S26、以特征關鍵點以及特征主方向為基準，通過GPU中的16個線程進行特征描述符計算，得到第一特征向量；

S27、將第一特征向量從GPU下載到CPU主機內存。

2.根據權利要求1所述的無人機圖像快速拼接方法，其特征在于，所述步驟S25中計算特征主方向的具體方法為：

A1、在特征點的圓形鄰域內，統計60度扇形區域內所有點的水平、垂直Haar小波特征值總和；

A2、將扇形區域以設定間隔進行旋轉，再次統計扇形區域內所有點的水平、垂直Haar小波特征值總和；

A3、重復步驟A1～A2，直到統計完成圓形鄰域中每個扇形區域內所有點的水平、垂直Haar小波特征值總和；

A4、將特征值總和最大的扇形方向作為該特征點的特征主方向。

3.根據權利要求1所述的無人機圖像快速拼接方法，其特征在于，所述步驟S26中計算得到第一特征向量的具體方法為：

B1、以特征關鍵點以及特征主方向為基準，選取一個邊長為20σ的正方形框，σ表示影像尺度；

B2、將正方形框分成16個子區域；

B3、分別計算每個子區域內所有像素的水平方向和水平方向絕對值之和的Haar小波特征，垂直方向和垂直方向絕對值之和的Haar小波特征，生成一個64維的第一特征向量。

4.根據權利要求1所述的無人機圖像快速拼接方法，其特征在于，所述步驟S4中的VGG16深度學習模型要求輸入的圖片數據大小為224×224×3，初始卷積核的大小為3×3×3，步幅stride的大小為1，有效填充padding的大小為1，池化層pooling采用2×2的最大池化函數max pooling的方式。