[發(fā)明專利]一種基于局部平面假設(shè)及六自由度位姿優(yōu)化的快速無人機圖像拼接方法

在審

• 申請?zhí)枺?/td>: 202010528074.8
• 申請日: 2020-06-11
• 公開（公告）號: CN111798373A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計）人: 趙勇
• 申請（專利權(quán)）人: 西安視野慧圖智能科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/73
• 代理公司: 北京科家知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11427
• 代理人: 宮建華

本發(fā)明公開了一種基于平面假設(shè)及六自由度位姿優(yōu)化的快速無人機圖像拼接方法，包括離線無序圖像處理和實時在線圖像處理，本發(fā)明涉及計算機圖像處理，計算機視覺與遙感測繪技術(shù)領(lǐng)域。該一種基于平面假設(shè)及六自由度位姿優(yōu)化的快速無人機圖像拼接方法，達到快速從無人機航拍圖像重建出帶地理信息的正射影像圖，與市面主流SfM相比，更快更容易收斂，可適應(yīng)更小FoV圖片，從而適應(yīng)高空航拍重建，與二維圖像拼接處理方式相比，全局收斂，誤差更小，可處理超大場景，與八自由度射影變換及仿射變換方法相比，能適應(yīng)圖像非正下拍攝場景，能更好地融合地理信息，精度更高。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機圖像處理，計算機視覺與遙感測繪技術(shù)領(lǐng)域，具體為一種基于局部平面假設(shè)及六自由度位姿優(yōu)化的快速無人機圖像拼接方法。

背景技術(shù)

SfM(structure from motion),該方法能使用無序圖片生成三維點云,利用三維點云進行拼接,但是現(xiàn)有的技術(shù)通常較慢(比如專利CN108765298A)：該圖像拼接方法直接使用圖像間的匹配進行拼接，雖然其速度快,但是精度很差,不適用于大規(guī)模場景的圖像拼接,且無法獲得無人機的世界坐標系位姿(比如CN109949220A,CN109712071A)：帶有平面假設(shè)的無人機圖像拼接,有些僅計算無人機的一個角度,這種方法精度較差,且應(yīng)用范圍小,不適用于無人機有旋轉(zhuǎn)的場景，還有一些優(yōu)化8自由度的Homography矩陣進行拼接,但是這樣就無法得出圖片的世界坐標系位置,無法放入世界地圖中(比如專利CN106204507A(該專利使用了Homography矩陣的方法進行拼接))。

發(fā)明內(nèi)容

(一)解決的技術(shù)問題

針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于局部平面假設(shè)及六自由度位姿優(yōu)化的快速無人機圖像拼接方法，解決了上述的問題，達到快速從無人機航拍圖像重建出帶地理信息的正射影像圖。

(二)技術(shù)方案

為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：一種基于局部平面假設(shè)及六自由度位姿優(yōu)化的快速無人機圖像拼接方法，包括離線無序圖像處理和實時在線圖像處理，所述離線無序圖像處理包括以下步驟：

步驟1：順序讀取圖像、圖像中特征點提取并存儲、相鄰幀搜索、圖像對匹配。

步驟2:對所有的圖像進行初始位姿估計。

步驟3:使用局部平面約束的全局位姿圖優(yōu)化算法優(yōu)化所有圖像世界坐標系下的位姿和拼接面高度。

步驟4:根據(jù)獲取的位姿和拼接面信息，進行增量式的圖像拼接和融合。

所述實時在線圖像處理包括以下步驟：

步驟1：對相機獲取的圖像序列選取兩幀進行初始化。

步驟2：根據(jù)步驟1.4得到的特征匹配關(guān)系結(jié)合地理信息對前兩幀位姿進行局部平面約束下的非線性優(yōu)化。

步驟3：對相機實時獲得的第i幀圖像進行如下處理，i＝3,4,5……。

步驟4：采用自適應(yīng)滑動窗口法對第i幀的位姿進行非線性優(yōu)化，i＝3,4,5……。

步驟5：對第i幀進行圖像拼接，當(dāng)?shù)趇幀被步驟4.3彈出時表示其位姿已經(jīng)優(yōu)化完畢，對其進行拼接操作。i＝3,4,5……。

步驟6：當(dāng)沒有圖像繼續(xù)傳入時，將滑動窗口中的所有幀都彈出，并執(zhí)行步驟5的圖像拼接操作。

優(yōu)選的，所述離線無序圖像處理步驟1中采用GPS信息來獲取鄰近候選幀，使用SIFT來檢測特征點，采用多單應(yīng)約束匹配方法來獲取匹配圖像對。