[發(fā)明專(zhuān)利]一種基于運(yùn)動(dòng)檢測(cè)的圖像配準(zhǔn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710150151.9
• 申請(qǐng)日: 2017-03-14
• 公開(kāi)（公告）號(hào): CN106971373B
• 公開(kāi)（公告）日: 2019-10-25
• 發(fā)明（設(shè)計(jì)）人: 張?jiān)浦?/a>;張杰;蔣建軍;陶亮;王爭(zhēng);崔家華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 東北大學(xué)
• 主分類(lèi)號(hào): G06T3/00
• 分類(lèi)號(hào): G06T3/00;G06T3/40
• 代理公司: 大連理工大學(xué)專(zhuān)利中心 21200
• 代理人: 梅洪玉

一種基于運(yùn)動(dòng)檢測(cè)的圖像配準(zhǔn)方法，包括如下步驟：假定全景攝像機(jī)組的位置以及相對(duì)位置都不發(fā)生變換，獲取待配準(zhǔn)圖像；通過(guò)SPHP算法，拼接產(chǎn)生第一幅全景圖像，并記錄每一像素點(diǎn)的原圖像所屬等參數(shù)；計(jì)算圖像中相互重疊區(qū)域，并采用幀差法檢測(cè)是否出現(xiàn)較大運(yùn)動(dòng)物體，對(duì)該區(qū)域進(jìn)行查表、融合等處理，并生成全景圖像；如果在某一區(qū)域發(fā)現(xiàn)較大運(yùn)動(dòng)物體，則將運(yùn)動(dòng)物體的范圍標(biāo)記出來(lái)，并將該區(qū)域?qū)?yīng)的全景圖像中的區(qū)域的1.2倍進(jìn)行零值設(shè)定；重復(fù)直至生成全景圖像。因重疊區(qū)域出現(xiàn)的空洞區(qū)域的2.0倍范圍與運(yùn)動(dòng)目標(biāo)所在原圖像中的區(qū)域的2.0倍進(jìn)行單應(yīng)性變換、實(shí)現(xiàn)圖像的拼接與疊加。通過(guò)此方法，可以消除圖像中行人周?chē)鷧^(qū)域的重影，得到更好的拼接效果。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于運(yùn)動(dòng)檢測(cè)的圖像配準(zhǔn)方法。

背景技術(shù)

隨著圖像處理技術(shù)的發(fā)展，圖像配準(zhǔn)已經(jīng)被廣泛應(yīng)用于汽車(chē)電子、虛擬旅游、全景看房等眾多領(lǐng)域。圖像配準(zhǔn)可以將多張相鄰的圖像拼接為一幅圖像，增大單幅圖像的視野范圍，利于觀察。除此之外，將多攝像機(jī)全景拼接技術(shù)引入WMSN中，即可以在無(wú)云臺(tái)的條件下實(shí)現(xiàn)WMSN節(jié)點(diǎn)的全向視覺(jué)感知。同時(shí)，由于采用了多個(gè)攝像機(jī)同時(shí)采集節(jié)點(diǎn)周?chē)囊曈X(jué)信息，因此可以完全避免為多節(jié)點(diǎn)的同步問(wèn)題。

目前對(duì)圖像配準(zhǔn)的研究大部分是基于以下兩個(gè)條件：(1)相鄰圖像是在在同心的條件拍攝，即在拍攝照片的時(shí)候，盡量使相機(jī)的焦點(diǎn)聚集在一點(diǎn)，通過(guò)轉(zhuǎn)動(dòng)攝像機(jī)，拍攝周?chē)膱D像；(2)拍攝的場(chǎng)景中不存在行人等運(yùn)動(dòng)物體，即要求待配準(zhǔn)圖像中的物體是靜止的。基于這兩個(gè)條件，可以通過(guò)分析攝像機(jī)的成像模型以及圖像的分辨率，確定相鄰圖像的重疊區(qū)域并進(jìn)行柱面投影，在此基礎(chǔ)上采用平移或單應(yīng)性變換的方式進(jìn)行圖像配準(zhǔn)，可以獲得很好的配準(zhǔn)效果。當(dāng)配準(zhǔn)圖像中存在著近景、遠(yuǎn)景時(shí)，可以通過(guò)聚類(lèi)等方式將特征點(diǎn)劃分為近景、遠(yuǎn)景兩個(gè)區(qū)域，求取各自的單應(yīng)性矩陣，采用距離加權(quán)的方式對(duì)圖像進(jìn)行雙矩陣變換獲取圖像的配準(zhǔn)。

但是在現(xiàn)實(shí)生活中，大部分圖片很難滿(mǎn)足以上兩個(gè)條件，即相鄰的圖像不在同一個(gè)角度下拍攝，兩幅圖像存在著明顯的視差，并且拍攝的場(chǎng)景中有行人等運(yùn)動(dòng)物體。在這種情況下，由于視差、運(yùn)動(dòng)物體等因素的存在，現(xiàn)有的方法很難達(dá)到精確的配準(zhǔn)。APAP或SPHP盡管可以減小視差對(duì)配準(zhǔn)的影響，但是當(dāng)圖像中存在著運(yùn)動(dòng)物體時(shí)，這兩種方法對(duì)背景圖像的配準(zhǔn)效果可以，對(duì)運(yùn)動(dòng)物體會(huì)出現(xiàn)拼接錯(cuò)位，嚴(yán)重的影響視覺(jué)效果。

綜上所述，當(dāng)待配準(zhǔn)圖像中存在較大視差且有運(yùn)動(dòng)物體時(shí)，當(dāng)前的配準(zhǔn)算法沒(méi)有考慮到運(yùn)動(dòng)物體對(duì)配準(zhǔn)的影響，導(dǎo)致在進(jìn)行透視變換的時(shí)候視角改變，在配準(zhǔn)圖像的重疊區(qū)域會(huì)出現(xiàn)較為明顯的鬼影或拼縫，嚴(yán)重的影響配準(zhǔn)效果。

發(fā)明內(nèi)容

針對(duì)當(dāng)前算法對(duì)運(yùn)動(dòng)圖像配準(zhǔn)的不足，本發(fā)明提供了一種基于運(yùn)動(dòng)檢測(cè)的圖像配準(zhǔn)方法。

本發(fā)明采用全景攝像機(jī)組采集視頻，從視頻中讀取待配準(zhǔn)圖像，采用SPHP對(duì)圖像進(jìn)行配準(zhǔn)，形成第一幀配準(zhǔn)圖像，然后計(jì)算每一幅原始圖像中相互重疊區(qū)域，并采用幀差法檢測(cè)每一區(qū)域是否出現(xiàn)較大運(yùn)動(dòng)物體。對(duì)出現(xiàn)的運(yùn)動(dòng)物體進(jìn)行標(biāo)記并分割出來(lái)，在進(jìn)行配準(zhǔn)時(shí)該區(qū)域只取其中一幅圖像的信息，這樣就能夠消除SPHP算法在較大視差情況下的配準(zhǔn)誤差，而已引入的SPHP算法又保持了圖像間原有的和目標(biāo)場(chǎng)景間的透視投影關(guān)系。具體步驟如下：

步驟一：設(shè)定全景攝像機(jī)組的位置以及相對(duì)位置都不再發(fā)生變換，即每個(gè)相機(jī)的外參都不再發(fā)生改變，獲取待配準(zhǔn)圖像。

步驟二：通過(guò)SPHP算法拼接產(chǎn)生第一幅全景圖像，并記錄全景圖像中每一像素點(diǎn)的原圖像所屬、原始圖像中的位置、特征點(diǎn)對(duì)的位置、拼縫位置等參數(shù)。

SPHP算法需要進(jìn)行坐標(biāo)系的變換處理，分為三個(gè)過(guò)程：坐標(biāo)系轉(zhuǎn)換、局部投影變換以及圖像配準(zhǔn)。

(1)坐標(biāo)系轉(zhuǎn)換