[發(fā)明專利]一種將線搜索擴(kuò)展于全景視頻運(yùn)動(dòng)估計(jì)的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 200910092868.8
• 申請(qǐng)日: 2009-09-09
• 公開（公告）號(hào): CN101667295A
• 公開（公告）日: 2010-03-10
• 發(fā)明（設(shè)計(jì)）人: 周忠;吳威;陳珂;牛犇
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06T7/20
• 分類號(hào): G06T7/20
• 代理公司: 北京科迪生專利代理有限責(zé)任公司
• 代理人: 李新華;徐開翟

技術(shù)領(lǐng)域

本發(fā)明涉及全景視頻技術(shù)領(lǐng)域，更具體地講，涉及一種對(duì)全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)的 方法。

背景技術(shù)

全景圖像是由某一點(diǎn)拍攝的多幅實(shí)景圖像拼接而成的。其具體的生成過程是：將相 互重疊圖像映射到簡(jiǎn)單的幾何體表面上，如球面、立方體表面或圓柱面，然后對(duì)投影圖 像進(jìn)行無縫拼接，就可以得到全景圖像。根據(jù)所映射的幾何體，全景圖像可以分為柱面 全景圖像、球面全景圖像和立方體全景圖像。全景視頻是由具有一些有時(shí)間關(guān)聯(lián)的全景 圖像序列組成，從視頻中可以獲取真實(shí)的全景景象，并且可以通過時(shí)間來定位視頻幀。

全景視頻覆蓋了360度的場(chǎng)景范圍，其數(shù)據(jù)量巨大，這對(duì)數(shù)據(jù)的存儲(chǔ)和傳輸造成了 很大的困難。因此，需要對(duì)全景視頻進(jìn)行壓縮編碼，以降低存儲(chǔ)空間和減少傳輸時(shí)占用 的網(wǎng)絡(luò)帶寬。在視頻圖像壓縮中，運(yùn)動(dòng)估計(jì)用來根據(jù)已經(jīng)編碼的參考幀產(chǎn)生當(dāng)前預(yù)測(cè)幀 的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，去除視頻序列中存在的冗余信息。運(yùn)動(dòng)估計(jì)的方法是將預(yù)測(cè)幀分成若 干大小相同的圖像塊，根據(jù)不同的搜索算法和匹配原則在參考幀內(nèi)搜索最相似的匹配 塊。目前，運(yùn)動(dòng)估計(jì)算法中搜索精度最高的是FS(Full?Search，全搜索)算法，F(xiàn)S算法 是對(duì)搜索范圍內(nèi)的每一個(gè)像素點(diǎn)進(jìn)行匹配運(yùn)算以得到一個(gè)最優(yōu)的運(yùn)動(dòng)向量，但它的計(jì)算 復(fù)雜度太高。因此，許多快速運(yùn)動(dòng)估計(jì)算法被提出，如TSS(Three?Step?Search，三步 搜索)算法、CS(Cross?Search，交叉搜索)算法、NTSS(New?Three?Step?Search，新三 步搜索)算法、FSS(Four?Step?Search，四步搜索)算法、DS(Diamond?Search，菱形搜 索)算法和HS(Hexagon?Search，六邊形搜索)算法，以及最近出現(xiàn)的PLS(Predictive Line?Search，預(yù)測(cè)線搜索)算法。TSS算法和CS算法第一步搜索步長(zhǎng)較大，而進(jìn)一步 的搜索是在第一步確定的方向上進(jìn)行的，因而很容易陷入局部最優(yōu)。NTSS算法、FSS算 法和DS算法利用視頻序列運(yùn)動(dòng)矢量在空間分布上的中心偏置特性，減小了搜索步長(zhǎng)， 加強(qiáng)了對(duì)中心區(qū)域的搜索。HS算法能比DS算法用更少的搜索點(diǎn)找到一個(gè)相同的運(yùn)動(dòng)矢 量。但是，這些快速算法沒有利用立方體全景視頻相鄰幀間圖像塊的運(yùn)動(dòng)趨勢(shì)和對(duì)應(yīng)關(guān) 系，因此對(duì)全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)的精度不高。

本發(fā)明前，中國發(fā)明專利“快速視頻運(yùn)動(dòng)估計(jì)方法”，申請(qǐng)?zhí)枮?1100544.4，公開 號(hào)為CN1333634A，該專利公開了一種運(yùn)動(dòng)估計(jì)的方法，采用菱形搜索并自適應(yīng)的終止 搜索過程。該方法主要是針對(duì)普通視頻采用固定順序進(jìn)行塊匹配搜索，并沒有充分利用 立方體全景視頻相鄰幀間圖像塊的運(yùn)動(dòng)趨勢(shì)和對(duì)應(yīng)關(guān)系，從而不能有效地對(duì)全景視頻進(jìn) 行運(yùn)動(dòng)估計(jì)。中國發(fā)明專利“用于全景圖像的運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)姆椒ê驮O(shè)備”，申請(qǐng)?zhí)? 為200580027187.3，公開號(hào)為CN101002479A，該申請(qǐng)公開了一種利用全景圖的左右邊 界之間的空間關(guān)系進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)姆椒āＴ摲椒ㄖ贿m用于柱面全景圖，所以不能 有效地對(duì)立方體全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)。

對(duì)于拍攝靜止場(chǎng)景的立方體全景視頻，全景相機(jī)的全局運(yùn)動(dòng)通常以水平運(yùn)動(dòng)為主， 所以，相鄰幀之間會(huì)存在著較多的重疊圖像信息。全景視頻覆蓋了360度場(chǎng)景，對(duì)于連 續(xù)的多幀全景圖像而言，圖像塊會(huì)從立方體的一個(gè)面移動(dòng)到相鄰面上，且圖像塊運(yùn)動(dòng)較 大。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)解決問題：克服現(xiàn)有技術(shù)的不足，提供一種將線搜索擴(kuò)展于全景視頻 運(yùn)動(dòng)估計(jì)的方法，該方法可以有效地對(duì)立方體全景視頻進(jìn)行運(yùn)動(dòng)估計(jì)，提高運(yùn)動(dòng)補(bǔ)償圖 像的質(zhì)量。

為了取得上述技術(shù)效果，本發(fā)明所采用的技術(shù)方案是：將連續(xù)采集的全景視頻分為 參考幀和預(yù)測(cè)幀，預(yù)測(cè)幀被分成若干宏塊，在參考幀內(nèi)搜索與預(yù)測(cè)幀當(dāng)前宏塊的最相似 的匹配塊，即最匹配塊，由最匹配塊與預(yù)測(cè)幀當(dāng)前宏塊的相對(duì)位置計(jì)算出運(yùn)動(dòng)向量，具 體包含的步驟如下：

(1)利用參考幀各面的上，下，左，右的鄰接圖像對(duì)參考幀的各面圖像進(jìn)行擴(kuò)展；

(2)從預(yù)測(cè)幀的宏塊中，選取第一個(gè)沒有做搜索的宏塊，對(duì)該第一個(gè)沒有做搜索的 宏塊采用線搜索方法在擴(kuò)展的參考幀中進(jìn)行搜索，尋找最小塊誤差點(diǎn)，并返回最小塊誤 差點(diǎn)所對(duì)應(yīng)的運(yùn)動(dòng)向量，完成線搜索的該宏塊即為線搜索的已匹配塊；

(3)以步驟(2)中線搜索的已匹配塊為起點(diǎn)，對(duì)相鄰的宏塊進(jìn)行擴(kuò)展搜索，獲取相 應(yīng)的運(yùn)動(dòng)向量；