[發(fā)明專利]一種結(jié)構(gòu)保持的寬基線視頻拼接方法

在審

• 申請?zhí)枺?/td>: 201710840382.2
• 申請日: 2017-09-18
• 公開（公告）號: CN107734268A
• 公開（公告）日: 2018-02-23
• 發(fā)明（設(shè)計）人: 周忠;吳威;曹明軍;呂偉
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N7/18;G06T3/40
• 代理公司: 北京科迪生專利代理有限責(zé)任公司11251
• 代理人: 安麗

技術(shù)領(lǐng)域

本發(fā)明涉及視頻拼接技術(shù)，更確切的是將多個寬基線視頻拼接生成一個全景視頻，屬于虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域和計算機(jī)圖形圖像處理領(lǐng)域。

背景技術(shù)

視頻拼接技術(shù)是指將多個具有重疊部分的視頻拼接融合成一個大型的無縫高分辨率的全景視頻，同時也是一個日益流行的研究領(lǐng)域，在宇宙空間探索、海底勘測、醫(yī)學(xué)、氣象、地址勘探、軍事等領(lǐng)域都有廣泛的應(yīng)用。

視頻拼接技術(shù)的核心是圖像拼接技術(shù)，傳統(tǒng)的圖像拼接技術(shù)嚴(yán)格假設(shè)多個相機(jī)位置處于同一個固定視點(diǎn)，或場景基本處于一個平面，該兩點(diǎn)假設(shè)均要求圖像中無較大深度變化。若視頻圖像內(nèi)容存在較大深度變化，最后獲得的全景圖中會出現(xiàn)明顯偽影，這種目標(biāo)圖像和參考圖像之間的不對準(zhǔn)通常稱之為視差。為解決這種視差圖像的拼接，人們開始嘗試使用新的對準(zhǔn)模型。DHW[1J.Gao,S.J.Kim,and M.S.Brown,“Constructing image panoramasusing dual-homography warping,”

in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,Jun.2011,pp.49–56.]使用兩個單應(yīng)矩陣分別用于遠(yuǎn)景和近景的對準(zhǔn)；SVA[2W.-Y.Lin,S.Liu,Y.Matsushita,T.-T.Ng,and L.-F.Cheong,“Smoothly varying affine stitching,”in IEEE Conf.Comput.Vis.PatternRecognit.,Jun.2011,pp.345–352.]使用平滑變化的仿射矩陣進(jìn)行不同區(qū)域的對準(zhǔn)，APAP[3.J.Zaragoza,T.Chin,Q.Tran,M.S.Brown,and D.Suter,“As-projective-as-

possible image stitching with moving DLT,”IEEE Trans.PatternAnal.Mach.Intell.,vol.36,no.7,pp.1285–1298,2014.]將整張圖像劃分為一個個的網(wǎng)格，對每個網(wǎng)格都單獨(dú)求取一個最優(yōu)的單應(yīng)矩陣。這些方法在一定程度上可以解決較小視差的圖像對準(zhǔn)，但是當(dāng)圖像基線過大或者紋理變化不夠鮮明時則難以奏效。

針對寬基線視頻的全景拼接通常更具挑戰(zhàn)性。在實(shí)際的日常生活中，監(jiān)控相機(jī)的位置、朝向、規(guī)格等屬性差異較大，圖像質(zhì)量相比一般的數(shù)碼相機(jī)又有所不及，甚至還會受到相機(jī)周圍環(huán)境的影響，出現(xiàn)遮擋、污染、光照變化劇烈、圖像模糊等情況。面對這種寬基線、大視差、低紋理的輸入視頻，現(xiàn)有的一些拼接算法均無法達(dá)到滿意的效果，甚至有些基于傳統(tǒng)拼接算法的商業(yè)拼接軟件直接顯示無法拼接。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)解決問題：克服現(xiàn)有技術(shù)的不足，提供一種結(jié)構(gòu)保持的寬基線視頻拼接方法，根據(jù)寬基線視頻的具體特點(diǎn)，將多個既相互獨(dú)立又相互關(guān)聯(lián)的視頻拼接成一個大型的無縫全景視頻，可用于智能安防監(jiān)控系統(tǒng)，擴(kuò)大監(jiān)控畫面的視野，提高監(jiān)控效率。

本發(fā)明的技術(shù)解決方案如下：一種結(jié)構(gòu)保持的寬基線視頻拼接方法，步驟如下：

(1)視頻幀同步階段，將輸入的多個寬基線視頻分解為一系列的視頻幀，并加入各自寬基線視頻幀的緩沖隊(duì)列，然后利用相機(jī)之間的時間差信息和各個寬基線視頻的時間戳信息進(jìn)行幀同步，得到同步后的多個寬基線視頻；

(2)視頻幀配準(zhǔn)階段，對同步后的多個寬基線視頻的第一幀視頻圖像調(diào)用圖像拼接算法生成一個初始的拼接模板，所述圖像拼接算法的步驟如下：

(21)點(diǎn)匹配、直線匹配、輪廓匹配相結(jié)合的三階段特征匹配：采用基于超像素分割的局部單應(yīng)模型進(jìn)行視頻幀之間的SIFT特征點(diǎn)匹配，針對特征點(diǎn)匹配中點(diǎn)對數(shù)量低于200的低紋理視頻幀，引入直線匹配和輪廓匹配，得到匹配的直線采樣點(diǎn)和輪廓采樣點(diǎn)，將各個階段得到的點(diǎn)對集合的并集作為最終的匹配結(jié)果；

(22)結(jié)構(gòu)保持的網(wǎng)格優(yōu)化：首先為所有待拼接視頻幀添加初始網(wǎng)格，定義以網(wǎng)格頂點(diǎn)為自變量的目標(biāo)函數(shù)，目標(biāo)函數(shù)約束匹配點(diǎn)對變換到同一點(diǎn)；然后最小化目標(biāo)函數(shù)，得到最優(yōu)的網(wǎng)格配置；最后根據(jù)初始網(wǎng)格和最優(yōu)網(wǎng)格的對應(yīng)關(guān)系求取多個仿射矩陣進(jìn)行圖像變形；

(23)無縫融合：針對圖像變形后的圖像對，計算重疊區(qū)域的對準(zhǔn)誤差和顏色差異，對準(zhǔn)誤差和顏色差異相加得到初始差異圖，并將重疊區(qū)域的輪廓掩碼作用于初始差異圖得到最終差異圖，在最終差異圖上采用圖割算法求取累積差異值最小的最優(yōu)縫合線；

(24)提取(22)中的仿射矩陣和(23)中的最優(yōu)縫合線作為參數(shù)初始化拼接模板；