[發(fā)明專利]一種基于無(wú)人機(jī)的全景圖像拼接方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610474715.X
• 申請(qǐng)日: 2016-06-24
• 公開（公告）號(hào): CN107545538B
• 公開（公告）日: 2020-06-02
• 發(fā)明（設(shè)計(jì)）人: 王飛;鄭富達(dá);鄭曉翠
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳研究生院
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/33
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 楊洪龍

本發(fā)明公開了一種基于無(wú)人機(jī)的全景圖像拼接方法及裝置，該方法包括如下步驟：從視頻流中依次提取關(guān)鍵幀圖像；根據(jù)航跡規(guī)劃信息，將飛行時(shí)間劃分為多個(gè)時(shí)間段，并依次將關(guān)鍵幀圖像劃歸到對(duì)應(yīng)設(shè)定的時(shí)間段內(nèi)，對(duì)奇數(shù)時(shí)間段或偶數(shù)時(shí)間段內(nèi)的關(guān)鍵幀圖像進(jìn)行旋轉(zhuǎn)，使得奇數(shù)時(shí)間段內(nèi)的關(guān)鍵幀圖像和偶數(shù)時(shí)間段內(nèi)的關(guān)鍵幀圖像的方向一致；對(duì)在后關(guān)鍵幀圖像的特征點(diǎn)與在先關(guān)鍵幀圖像的特征點(diǎn)進(jìn)行匹配，對(duì)在后關(guān)鍵幀圖像與在先關(guān)鍵幀圖像進(jìn)行匹配并計(jì)算之間的第一變換關(guān)系；根據(jù)映射關(guān)系將基準(zhǔn)關(guān)鍵幀圖像映射到模板上，遞推計(jì)算當(dāng)前關(guān)鍵幀圖像相對(duì)于基準(zhǔn)關(guān)鍵幀圖像的變換關(guān)系，根據(jù)映射關(guān)系和變換關(guān)系將當(dāng)前關(guān)鍵幀圖像映射到模板上。

【技術(shù)領(lǐng)域】

本發(fā)明涉及計(jì)算機(jī)視覺(jué)圖像快速處理技術(shù)領(lǐng)域，尤其涉及一種基于無(wú)人機(jī)的全景圖像拼接方法及裝置。

【背景技術(shù)】

突發(fā)事件的信息獲取及分析是我國(guó)應(yīng)急管理基礎(chǔ)研究亟需解決的五大核心科學(xué)問(wèn)題之一。快速、及時(shí)、準(zhǔn)確地獲取突發(fā)事件現(xiàn)場(chǎng)信息，能夠?yàn)閼B(tài)勢(shì)分析、策略制定提供翔實(shí)可靠的參考數(shù)據(jù)，輔助應(yīng)急決策，提高突發(fā)事件應(yīng)對(duì)能力。

基于無(wú)人機(jī)的航空遙感系統(tǒng)具有機(jī)動(dòng)靈活、響應(yīng)迅速且無(wú)人員傷亡危險(xiǎn)的特點(diǎn)，在突發(fā)事件現(xiàn)場(chǎng)信息獲取中顯示出巨大的優(yōu)勢(shì)，越來(lái)越多地應(yīng)用于災(zāi)害管理和應(yīng)急測(cè)繪領(lǐng)域。但是無(wú)人機(jī)采集的圖像大小和分辨率受飛行高度和機(jī)載傳感器制約，得到的都是單張、覆蓋范圍小的影像，不能整體反映突發(fā)事件現(xiàn)場(chǎng)環(huán)境，只有通過(guò)圖像拼接方法實(shí)現(xiàn)圖片從單張到全景、從局部到整體的轉(zhuǎn)變，將圖片有序結(jié)合起來(lái)，才能將無(wú)人機(jī)采集現(xiàn)場(chǎng)信息轉(zhuǎn)化為真正對(duì)應(yīng)急決策有用的突發(fā)事件大場(chǎng)景全景圖。

現(xiàn)有的圖像全景拼接方法根據(jù)拼接時(shí)間可以分為兩類，一類是后處理，一類是實(shí)時(shí)處理。如申請(qǐng)?zhí)枮镃N 103310433 A的《一種利用影像拓?fù)涔羌艿臒o(wú)人機(jī)影像快速匹配方法》專利，通過(guò)圖像拓?fù)涔羌苓M(jìn)行圖像分層級(jí)，之后再進(jìn)行匹配。申請(qǐng)?zhí)枮镃N 103426153 A的《一種無(wú)人機(jī)遙感影像快速拼接方法》專利，基于瓦片金字塔進(jìn)行多層級(jí)網(wǎng)格化分區(qū)，之后再進(jìn)行匹配。這兩個(gè)專利描述的方法都是針對(duì)大量的、已經(jīng)采集完畢的圖片進(jìn)行的后處理模式，不能充分體現(xiàn)無(wú)人機(jī)快速響應(yīng)的優(yōu)勢(shì)。

申請(qǐng)?zhí)枮镃N 102201115 A的《無(wú)人機(jī)航拍視頻實(shí)時(shí)全景圖拼接方法》專利描述了一種基于無(wú)人機(jī)傳回基站的視頻圖像，實(shí)現(xiàn)邊飛行邊拼接的拼接方法，但是該方法采用了“無(wú)人機(jī)返回路徑時(shí)空融合圖像幀到全景拼接”，需要利用無(wú)人機(jī)的GPS位置信息確定時(shí)間不相鄰但空間相鄰的圖像幀，優(yōu)化幀到全景的變換關(guān)系，實(shí)現(xiàn)圖像融合和全景圖構(gòu)建。而確定時(shí)間不相鄰空間相鄰的圖像幀，需要大量且精確航跡規(guī)劃參數(shù)，飛機(jī)實(shí)際飛行過(guò)程中飛行高度、GPS精度、自身晃動(dòng)等均可能影響此效果。更重要的兩點(diǎn)是：一、該專利使用的SURF特征提取方法應(yīng)對(duì)圖像旋轉(zhuǎn)變化表現(xiàn)一般，在相鄰兩條航線間轉(zhuǎn)彎處所得幀圖像相對(duì)于其他航線圖像有一定旋轉(zhuǎn)角度，預(yù)期拼接效果不佳。二、該專利僅僅提出全流程的幀提取拼接過(guò)程，但是并未提供任何能快速提取拼接的實(shí)施性方案，傳統(tǒng)的拼接速度很慢，難以達(dá)到實(shí)時(shí)效果。

【發(fā)明內(nèi)容】

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提出一種基于無(wú)人機(jī)的全景圖像拼接方法，可以實(shí)時(shí)拼接圖像，解決圖像處理滯后于圖像采集的問(wèn)題，充分體現(xiàn)無(wú)人機(jī)響應(yīng)迅速的優(yōu)勢(shì)。

一種基于無(wú)人機(jī)的全景圖像拼接方法，包括如下步驟：

提取步驟，從無(wú)人機(jī)傳回的視頻流中依次提取關(guān)鍵幀圖像；

預(yù)處理步驟，根據(jù)所述無(wú)人機(jī)的航跡規(guī)劃信息，將所述無(wú)人機(jī)的飛行時(shí)間劃分為多個(gè)時(shí)間段，并依次將關(guān)鍵幀圖像劃歸到對(duì)應(yīng)設(shè)定的時(shí)間段內(nèi)，對(duì)奇數(shù)時(shí)間段或偶數(shù)時(shí)間段內(nèi)的關(guān)鍵幀圖像進(jìn)行旋轉(zhuǎn)，使得奇數(shù)時(shí)間段內(nèi)的關(guān)鍵幀圖像和偶數(shù)時(shí)間段內(nèi)的關(guān)鍵幀圖像的方向一致；