[發明專利]一種基于局部平面假設及六自由度位姿優化的快速無人機圖像拼接方法

在審

• 申請號: 202010528074.8
• 申請日: 2020-06-11
• 公開（公告）號: CN111798373A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 趙勇
• 申請（專利權）人: 西安視野慧圖智能科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/73
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 宮建華

1.一種基于局部平面假設及六自由度位姿優化的快速無人機圖像拼接方法，包括離線無序圖像處理和實時在線圖像處理，其特征在于：所述離線無序圖像處理包括以下步驟：

步驟1：順序讀取圖像、圖像中特征點提取并存儲、相鄰幀搜索、圖像對匹配。

步驟2:對所有的圖像進行初始位姿估計。

步驟3:使用局部平面約束的全局位姿圖優化算法優化所有圖像世界坐標系下的位姿和拼接面高度。

步驟4:根據獲取的位姿和拼接面信息，進行增量式的圖像拼接和融合。

所述實時在線圖像處理包括以下步驟：

步驟1：對相機獲取的圖像序列選取兩幀進行初始化。

步驟2：根據步驟1.4得到的特征匹配關系結合地理信息對前兩幀位姿進行局部平面約束下的非線性優化。

步驟3：對相機實時獲得的第i幀圖像進行如下處理，i＝3,4,5……。

步驟4：采用自適應滑動窗口法對第i幀的位姿進行非線性優化，i＝3,4,5……。

步驟5：對第i幀進行圖像拼接，當第i幀被步驟4.3彈出時表示其位姿已經優化完畢，對其進行拼接操作。i＝3,4,5……。

步驟6：當沒有圖像繼續傳入時，將滑動窗口中的所有幀都彈出，并執行步驟5的圖像拼接操作。

2.根據權利要求1所述的一種基于局部平面假設及六自由度位姿優化的快速無人機圖像拼接方法，其特征在于：所述離線無序圖像處理步驟1中采用GPS信息來獲取鄰近候選幀，使用SIFT來檢測特征點，采用多單應約束匹配方法來獲取匹配圖像對。

3.根據權利要求1所述的一種基于局部平面假設及六自由度位姿優化的快速無人機圖像拼接方法，其特征在于：所述離線無序圖像處理步驟3中我們假設拍攝的場景局部可擬合為一個平面，場景可以由多個高度為h_i組成的平面描述，使用讓其中一幀i的特征點p_i投影到這個平面上的三維點P_i，使用另一幀j的位姿讓P_i反投影到第j幀的歸一化坐標系上p_ji，優化第j幀的匹配點和p_ji的坐標差值，

在這個公式中，T_i表示這個每一幀的相機位姿，h_i為幀i拍攝平面的高度，N為多少對匹配幀，P為每一對匹配幀的匹配點，p_i和p_j為每一個特征點的歸一化坐標，為用和h_i投影p_i到另一幀的歸一化坐標上。

4.根據權利要求1所述的一種基于平面假設及六自由度位姿優化的快速無人機圖像拼接方法，其特征在于：所述無序圖像處理步驟4中的拼接融合算法使用拼接面信息和幀位姿信息直接進行拼接融合，可不依賴三維重建的點云信息。

5.根據權利要求1所述的一種基于平面假設及六自由度位姿優化的快速無人機圖像拼接方法，其特征在于：所述實時在線圖像處理步驟2中根據假設，采用自適應滑動窗口法，對于序列化的圖像將計算復雜度約束在局部的位姿圖優化上。