[發(fā)明專利]無人機(jī)航拍視頻實(shí)時全景圖拼接方法

有效

• 申請?zhí)枺?/td>: 201110085596.6
• 申請日: 2011-04-07
• 公開（公告）號: CN102201115A
• 公開（公告）日: 2011-09-28
• 發(fā)明（設(shè)計）人: 王橋生
• 申請（專利權(quán)）人: 湖南天幕智能科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;H04N5/232
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種無人機(jī)航拍視頻實(shí)時全景圖拼接方法，包括飛行控制系統(tǒng)，其特征是：所述視頻實(shí)時全景圖拼接方法還包括以下步驟：

(1)視頻圖像的傳輸和采集

無人機(jī)搭載攝像機(jī)對飛行過程的場景進(jìn)行拍攝，然后通過微波通道將視頻實(shí)時的傳輸回控制基站，視頻接收機(jī)上安裝圖像采集卡對圖像幀進(jìn)行采集，然后傳輸給工作計算機(jī)，實(shí)現(xiàn)圖像幀的獲取；

(2)關(guān)鍵圖像幀的選擇

從采集卡得到的視頻圖像幀頻高，為20-30幀/秒，采用基于內(nèi)容的圖像關(guān)鍵幀選擇技術(shù)先對圖像進(jìn)行關(guān)鍵幀的選擇后再以該關(guān)鍵幀用于圖像的拼接，并記錄該關(guān)鍵幀所對應(yīng)的由GPS提供的位置信息；

(3)圖像預(yù)處理

根據(jù)實(shí)際應(yīng)用背景不同，將圖像增強(qiáng)算法運(yùn)用到本系統(tǒng)的預(yù)處理程序部分，實(shí)現(xiàn)自動選擇圖像增強(qiáng)算法，該方法是采用具有重疊性的分塊化雙平臺操作技術(shù)對圖像進(jìn)行去煙霧處理，其具體步驟包括：先對圖像進(jìn)行分塊化處理，然后對每一塊的灰度值進(jìn)行統(tǒng)計，分別設(shè)置灰度級統(tǒng)計數(shù)目的高低平臺對統(tǒng)計結(jié)果進(jìn)行削平處理，實(shí)現(xiàn)單塊圖像的增強(qiáng)，這樣可以利用相鄰塊之間的具有重疊區(qū)域，實(shí)現(xiàn)圖像的增強(qiáng)；

(4)圖像特征提取與配準(zhǔn)

本方法是采用SURF加速的魯棒性特征方法進(jìn)行圖像特征點(diǎn)的檢測和描述，通過SURF對特征點(diǎn)進(jìn)行檢測和描述后，使每個特征點(diǎn)為一個高維的向量描述符，又采用最近K鄰域方法進(jìn)行特征點(diǎn)的匹配，實(shí)現(xiàn)相鄰兩幅圖像的配準(zhǔn)；

(5)幀道幀的圖像變換

通過步驟(4)配準(zhǔn)得到相鄰圖像間的匹配點(diǎn)集，通過匹配點(diǎn)集采用RANSAC和L-M方法來求出兩幅圖像之間的單應(yīng)變換矩陣，進(jìn)行參數(shù)估計，獲取圖像的變換模型，實(shí)現(xiàn)幀到幀的變換關(guān)系，這樣根據(jù)無人機(jī)垂直對地拍攝并且高度較高，可以假設(shè)圖像之間為平移關(guān)系；

(6)幀到全景的變換

通過以上步驟，方法得到了幀到幀的變換關(guān)系，為實(shí)現(xiàn)全景圖的構(gòu)建，必須先實(shí)現(xiàn)幀到全景的變換，本方法采用一種基于無人機(jī)飛行路徑的幀到全景圖(frame-to-mosaic)的拼接方式，可以直接求取當(dāng)前幀到全景圖像的參考坐標(biāo)系的變換參數(shù)；

(7)無人機(jī)返回路徑時空融合圖像幀到全景拼接

根據(jù)步驟(6)的幀到全景的變換方法結(jié)合無人機(jī)飛行路徑，融合時空兩方面的信息，對圖像幀的變換計算進(jìn)行優(yōu)化，同時利用時空相鄰幀信息實(shí)現(xiàn)圖像幀到全景的變換，這樣可以減少圖像連乘累積誤差，以實(shí)現(xiàn)無人機(jī)返回路徑時空融合圖像幀到全景拼接；

(8)圖像融合生成全景圖

為了使得重疊區(qū)域平滑過渡，提高圖像質(zhì)量，采用線性的淡入淡出方法逐漸過渡，以避免出現(xiàn)明顯的邊界，本方法的具體步驟包括：在重疊區(qū)域由一幅圖像線性地過渡到另一幅圖像，即將圖像重疊區(qū)域的灰度值按照一定的權(quán)值相加合成新的圖像，針對無人機(jī)拍攝的彩色圖像，分別對紅、綠、藍(lán)三個通道進(jìn)行插值融合，利用漸入漸出的融合算法得到較好的視覺效果，生成能滿足該應(yīng)用場合的全景圖。

2.根據(jù)權(quán)利要求1所述的無人機(jī)航拍視頻實(shí)時全景圖拼接方法，其特征是：步驟(2)所述的該關(guān)鍵幀的位置信息是由無人機(jī)搭載的GPS導(dǎo)航儀提供。