[發(fā)明專利]基于局部特征的飛行器姿態(tài)跨視場估計方法及裝置

在審

• 申請?zhí)枺?/td>: 201910048352.7
• 申請日: 2019-01-18
• 公開（公告）號: CN109903336A
• 公開（公告）日: 2019-06-18
• 發(fā)明（設(shè)計）人: 劉盛;沈康;王楊慶;馮緣;陳勝勇
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/55;G06T7/66;G06T7/80
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發(fā)明公開了一種基于局部特征的飛行器姿態(tài)跨視場估計方法及裝置，對輸入的RGB圖像進(jìn)行Tag識別，檢測到Tag后，識別其位置，進(jìn)行飛行器中心定位，基于深度信息，得到飛行器中心位置坐標(biāo)。接著計算最大幀得分選擇最佳輸入圖像，然后對輸入的RGB圖像提取特征點，并且結(jié)合深度圖將特征點轉(zhuǎn)化為三維點。使用光束平差法求得相機姿態(tài)后，再對相機姿態(tài)進(jìn)行轉(zhuǎn)換。最后，初始相機與飛行器之間的轉(zhuǎn)換矩陣，將相機姿態(tài)轉(zhuǎn)化為飛行器姿態(tài)，并將飛行器姿態(tài)轉(zhuǎn)化為六自由度姿態(tài)輸出。本發(fā)明滿足了飛行器姿態(tài)估計的實時性需求，實時性好而且精度高。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，尤其涉及一種基于局部特征的飛行器姿態(tài)跨視場估計方法及裝置。

背景技術(shù)

在計算機視覺的工作中，飛行器姿態(tài)估計可被視作一項物體姿態(tài)估計的任務(wù)。物體姿態(tài)識別任務(wù)在計算機視覺中已經(jīng)得到了廣泛的研究。傳統(tǒng)的物體姿態(tài)測量方法主要可分為模板匹配與特征匹配兩種。模板匹配的方法通常應(yīng)用于弱紋理場景。這種方法首先需要對三維物體進(jìn)行建模，然后通過將真實場景與三維模型做匹配來尋找最佳姿態(tài)。比如經(jīng)典的ICP算法與RANSAC算法就是通過最小化真實場景與模型之間的對應(yīng)點的距離來求解當(dāng)前姿態(tài)。特征匹配的方法，通常使用對象描述子進(jìn)行識別，描述子又有全局和局部描述子兩種。全局描述子是對物體整體狀態(tài)的描述，通過描述子的匹配就可以得到當(dāng)前姿態(tài)。而局部描述子則是基于點的匹配，計算得到當(dāng)前物體相對于初始狀態(tài)的位姿。也有一部分研究者認(rèn)為在多數(shù)的計算機視覺應(yīng)用場景中，由于基于特征或者模板的識別方法都有可能失效，對象的輪廓才是最可靠的信息。

在風(fēng)洞場景中，對自由飛的飛行器進(jìn)行實時姿態(tài)估計需要克服很多難題。首先，飛行器在自由飛狀態(tài)下很容易飛離單個相機的視場范圍，因而需要多臺相機協(xié)作，覆蓋更大的視場。其次，在高動態(tài)的飛行狀態(tài)下，模板和輪廓匹配的方法很難達(dá)到實時性需求，而且精度不高。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于局部特征的飛行器姿態(tài)跨視場估計方法及裝置，來解決跨視場問題并實時估計飛行器的姿態(tài)，該方法僅需獲取多個相機的RGB-D輸入，通過飛行器與初始相機的相對位置關(guān)系，就可以將相機的相對姿態(tài)轉(zhuǎn)化為飛行器的相對姿態(tài)并且輸出。

為了實現(xiàn)上述目的，本發(fā)明技術(shù)方案如下：

一種基于局部特征的飛行器姿態(tài)跨視場估計方法，所述飛行器上設(shè)置有對稱的標(biāo)簽，在初始時飛行器位于初始相機的視場范圍內(nèi)，所述基于局部特征的飛行器姿態(tài)跨視場估計方法，包括：

對場景內(nèi)的所有深度相機進(jìn)行標(biāo)定，得到所有深度相機的內(nèi)參、及各個深度相機相對于初始相機的轉(zhuǎn)換矩陣；

采用初始相機的視頻圖像作為輸入，進(jìn)行標(biāo)簽識別，根據(jù)標(biāo)簽在圖像坐標(biāo)系中的位置確定飛行器與初始相機的相對位置關(guān)系；

以所有深度相機的視頻圖像作為輸入，進(jìn)行跨視場相機選取，將選取的深度相機的視頻圖像作為當(dāng)前輸入幀；

對當(dāng)前輸入幀進(jìn)行特征點提取，計算當(dāng)前相機姿態(tài)；

將當(dāng)前相機姿態(tài)轉(zhuǎn)換為初始相機姿態(tài)；

根據(jù)飛行器與初始相機的相對位置關(guān)系，將相機姿態(tài)轉(zhuǎn)化為飛行器姿態(tài)。

進(jìn)一步地，所述以所有深度相機的視頻圖像作為輸入，進(jìn)行跨視場相機選取，包括：

對于所有深度相機集合N中的深度相機n，相應(yīng)的有RGB圖像和深度圖前溯M幀，計算每幀時，各個深度相機的幀得分，幀得分表達(dá)為：

其中，

p[(x,y)是深度圖在(x,y)位置滿足深度閾值H的深度得分，表示深度圖在(x,y)位置的深度值，h和w分別是當(dāng)前幀的高和寬；

將每幀最大幀得分對應(yīng)的深度相機，放入一個集合