[發明專利]基于三維重建的無人機圖像拼接方法和系統

在審

• 申請號: 201810623110.1
• 申請日: 2018-06-15
• 公開（公告）號: CN108765298A
• 公開（公告）日: 2018-11-06
• 發明（設計）人: 唐娉;鄒松;胡昌苗;單小軍;唐吉文;鄭柯
• 申請（專利權）人: 中國科學院遙感與數字地球研究所
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/10;G06K9/46;G06K9/62
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 王珺;武晨燕

1.一種基于三維重建的無人機圖像拼接方法，其特征在于，包括：

獲取無人機相機在拍攝區域拍攝的無序的圖像；

對獲取的無序的圖像進行特征點提取，對提取出來的特征點進行特征匹配，得到匹配特征點對，并根據所述匹配特征點對按順序排列無序的圖像；

對所述匹配特征點對進行解析，得到相機姿態參數、畸變參數和所述特征點的空間坐標；

根據所述相機姿態參數和所述特征點的空間坐標對排列好順序的圖像進行圖像分簇，形成多個圖像簇，分別提取各個所述圖像簇的密集點云，并完成密集匹配；

根據所述密集點云、所述相機姿態參數以及所述畸變參數對完成密集匹配后的圖像進行正射糾正，并將正射糾正后的圖像進行拼接得到拼接圖像。

2.如權利要求1所述的基于三維重建的無人機圖像拼接方法，其特征在于，對獲取的無序的圖像進行特征點提取，包括：

基于獲取的無序的圖像得到高斯圖像金字塔和高斯差分金字塔，探測所述高斯差分金字塔中各差分尺度空間對應的極值點，探測到的所述極值點為所述特征點；

對探測到的所述特征點進行精確定位，并利用所述特征點的鄰域像素的梯度方向分布特性確定所述特征點的主方向；

根據所述特征點的精確定位和所述特征點的主方向計算所述特征點的描述子，所述特征點的描述子包括所述特征點以及所述特征點的鄰域像素點的信息。

3.如權利要求1所述的基于三維重建的無人機圖像拼接方法，其特征在于，對提取出來的所述特征點進行特征匹配，得到匹配特征點對，包括：

選取拍攝的一個所述圖像作為基準圖像，根據所述基準圖像的特征點集的描述向量構建k-d樹索引；

根據所述圖像中的待匹配特征點在所述k-d樹中進行最佳節點優先搜索，檢索出與所述待匹配特征點距離最近的k個數據點；

若所述k近鄰中最近鄰的點與所述待匹配特征點之間的距離在預設閾值內，且所述最近鄰的點與次近鄰點的距離比值在預設閾值內，則將所述最近鄰點與所述待匹配特征點看作所述匹配特征點對；

利用隨機樣本統計方法在所有的所述匹配特征點對中剔除出誤匹配點。

4.如權利要求1所述的基于三維重建的無人機圖像拼接方法，其特征在于，根據所述相機姿態參數和所述特征點的空間坐標對排列好順序的圖像進行圖像分簇，形成多個圖像簇，包括：

在所述提取出來的特征點中隨機取點，獲取該點的可視信息，在所述可視信息中搜索該點的局部領域，在所述局部領域進行點云融合，輸出融合后的特征點集；

根據圖像分辨率篩選符合覆蓋約束條件的圖像，刪除不符合所述覆蓋約束條件的圖像；

判斷篩選的圖像集是否滿足大小約束條件，若否，則對所述篩選的圖像集進行分割，形成新圖像簇；

判斷所述特征點集中的特征點是否屬于所述新圖像簇中的特征點，若不是，則將包含所述特征點的圖像加入所述新圖像簇中，直至所述新圖像簇滿足所述覆蓋約束條件和圖像簇大小約束條件。

5.如權利要求1所述的基于三維重建的無人機圖像拼接方法，其特征在于，提取各個所述圖像簇的密集點云之后，包括：

對所述密集點云進行濾波處理和旋轉處理。

6.如權利要求1所述的基于三維重建的無人機圖像拼接方法，其特征在于，根據所述密集點云、所述相機姿態參數以及所述畸變參數對完成密集匹配后的圖像進行正射糾正，并將正射糾正后的圖像進行拼接得到拼接圖像，包括：

通過所述密集點云建立拍攝區域的數字表面模型；

根據所述數字表面模型、所述相機姿態參數以及所述畸變參數，利用基于面元的間接法數字微分糾正對所述圖像進行正射校正，得到正射圖像；

根據所述正射圖像的角點坐標確定相鄰所述正射圖像的重疊區域；

在所述重疊區域中兩個所述正射圖像的灰度值差異最小的像素點構成拼接線；

采用圖像均值強制改正方法消除拼接線，得到所述拼接圖像。

7.一種基于三維重建的無人機圖像拼接系統，其特征在于，包括：

圖像獲取模塊，用于獲取無人機相機在拍攝區域拍攝的無序的圖像；

圖像排列模塊，用于對獲取的無序的圖像進行特征點提取，對所述特征點進行特征匹配，得到匹配特征點對，并根據所述匹配特征點對按順序排列無序的圖像；

特征點坐標解析模塊，用于對所述匹配特征點對進行解析，得到相機姿態參數、畸變參數和所述特征點的空間坐標；

密集匹配模塊，用于根據所述相機姿態參數和所述特征點的空間坐標對排列好順序的圖像進行圖像分簇，形成多個圖像簇，分別提取各個所述圖像簇的密集點云，并完成密集匹配；

正射糾正模塊，用于根據所述密集點云、所述相機姿態參數以及所述畸變參數對完成密集匹配后的圖像進行正射糾正；

圖像拼接模塊，用于將正射糾正后的圖像進行拼接得到拼接圖像。