[發(fā)明專(zhuān)利]基于透視投影的實(shí)時(shí)虛擬視點(diǎn)生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210486773.6
• 申請(qǐng)日: 2012-11-26
• 公開(kāi)（公告）號(hào): CN102938845A
• 公開(kāi)（公告）日: 2013-02-20
• 發(fā)明（設(shè)計(jì)）人: 曾超;程遠(yuǎn)兵
• 申請(qǐng)（專(zhuān)利權(quán)）人: 四川長(zhǎng)虹電器股份有限公司
• 主分類(lèi)號(hào): H04N13/00
• 分類(lèi)號(hào): H04N13/00;H04N15/00
• 代理公司: 成都虹橋?qū)＠聞?wù)所 51124
• 代理人: 劉世平

技術(shù)領(lǐng)域

本發(fā)明涉及立體視頻處理方法，具體的講是基于透視投影的實(shí)時(shí)虛擬視點(diǎn)生成方法。

背景技術(shù)

在視頻顯示領(lǐng)域中，與二維視頻顯示相比，立體視頻顯示與人的視覺(jué)特征更加匹配，使得人們?cè)谟^看圖像時(shí)富有立體感和沉浸感。目前的立體電視主要分為眼鏡式和裸眼式兩種，其中眼鏡式立體顯示主要以主動(dòng)快門(mén)式和被動(dòng)偏光式為主，裸眼式主要分為視差屏障式、柱狀透鏡式等。眼鏡式立體技術(shù)主要集中在消費(fèi)級(jí)市場(chǎng)，如立體電視、立體投影等，裸眼式立體技術(shù)由于技術(shù)及成本因素，目前主要于機(jī)場(chǎng)、展覽等商用顯示及小尺寸消費(fèi)電子產(chǎn)品。裸眼式立體顯示技術(shù)因?yàn)椴恍枰~外的設(shè)備即可讓觀眾欣賞到立體效果，因而受到了消費(fèi)者的普遍期待和各國(guó)廠家的重視，正成為下一代立體顯示的發(fā)展方向。

現(xiàn)有大尺寸裸眼立體電視通常為多視點(diǎn)自由立體顯示方式，這就要求視頻信號(hào)源為多視點(diǎn)立體視頻。多視點(diǎn)立體視頻是指由位置不同的多個(gè)攝像機(jī)在相同時(shí)刻對(duì)相同場(chǎng)景進(jìn)行拍攝時(shí)產(chǎn)生的多個(gè)視圖的序列，一個(gè)視圖對(duì)應(yīng)一個(gè)視點(diǎn)。目前立體拍攝主要采用雙目攝像機(jī)實(shí)現(xiàn)立體攝制，這對(duì)攝像設(shè)備和攝像技術(shù)要求較高，國(guó)內(nèi)外已有多家公司推出立體攝像機(jī)和立體照相機(jī)產(chǎn)品。而針對(duì)多視點(diǎn)視頻采集還存在一定的技術(shù)瓶頸，目前多視點(diǎn)視頻通常采用立體建模制作或雙目立體視頻轉(zhuǎn)多目立體視頻方式產(chǎn)生。為了讓現(xiàn)有雙目立體視頻可在多視點(diǎn)裸眼立體電視上進(jìn)行顯示，如何將雙目立體視頻實(shí)時(shí)轉(zhuǎn)換為多目立體視頻正成為裸眼立體領(lǐng)域的一個(gè)研究熱點(diǎn)。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于透視投影的實(shí)時(shí)虛擬視點(diǎn)生成方法，可用于多視點(diǎn)立體視頻的實(shí)時(shí)生成，滿足裸眼立體電視播放要求，保證雙目立體視頻轉(zhuǎn)多目立體視頻的實(shí)時(shí)性，提高轉(zhuǎn)換的多視點(diǎn)視頻的主觀質(zhì)量和舒適度。

本發(fā)明基于透視投影的實(shí)時(shí)虛擬視點(diǎn)生成方法，包括：

a．對(duì)雙目立體視頻進(jìn)行解碼得到雙目立體視頻序列，并依次將所述的雙目立體視頻序列送入緩沖區(qū)；

b．對(duì)緩沖區(qū)的雙目立體視頻序列進(jìn)行立體匹配，計(jì)算左右圖像的視差關(guān)系，統(tǒng)計(jì)左右圖像正視差最大值；

c．根據(jù)步驟b計(jì)算的雙目立體視頻序列的視差關(guān)系和左右圖像正視差最大值，確定虛擬視點(diǎn)的插入位置及三維透視投影的偏移角度；

d．根據(jù)步驟c計(jì)算的偏移角度分別對(duì)左右圖像進(jìn)行透視投影，得到對(duì)應(yīng)的多點(diǎn)虛擬視點(diǎn)圖像；

e．根據(jù)光柵式裸眼3D的顯示特性對(duì)多視點(diǎn)圖像進(jìn)行RGB重排列，使得多點(diǎn)虛擬視點(diǎn)的3D圖像合成與光柵排列相一致。

通過(guò)對(duì)雙目立體圖像進(jìn)行立體匹配計(jì)算雙目立體圖像的左右視差關(guān)系，可自適應(yīng)確定虛擬視點(diǎn)插入的位置及投影透視的偏移角度，得到對(duì)應(yīng)的虛擬視點(diǎn)圖像，這樣不僅能夠保證雙目立體視頻轉(zhuǎn)多目立體視頻的實(shí)時(shí)性，還能夠大幅度提高轉(zhuǎn)換的多視點(diǎn)視頻的主觀質(zhì)量和舒適度。

具體的，步驟a中所述的對(duì)雙目立體視頻進(jìn)行解碼包括對(duì)左右圖像進(jìn)行分離，如過(guò)圖像在水平或垂直方向上有分辨率損失，對(duì)分辨率有損失的方向按照正常寬高比進(jìn)行還原。記錄單路圖像的分辨率為h×v，其中h為水平方向上的分辨率，v為垂直方向上的分辨率，依次將解碼的雙目立體圖像送入緩沖區(qū)進(jìn)行處理。

具體的，步驟b中所述的立體匹配，是基于區(qū)域的匹配方法對(duì)該對(duì)雙目立體視頻序列進(jìn)行立體匹配。為加快計(jì)算的速度，可針對(duì)圖像特定區(qū)域進(jìn)行立體匹配。立體匹配的方法還有很多中，例如基于特征點(diǎn)的匹配等，這里采用基于區(qū)域的匹配方法有利于保證雙目立體圖像視差的準(zhǔn)確性。

一種具體實(shí)現(xiàn)步驟b中所述基于區(qū)域的匹配方法包括：

b1．將左路或右路的像素點(diǎn)通過(guò)立體匹配找到該像素點(diǎn)在另一路圖像的匹配點(diǎn)，采用模板進(jìn)行像素匹配；

b2．通過(guò)比較左右視差圖像在各個(gè)位置的相關(guān)系數(shù)，相關(guān)性最大的值為最佳匹配點(diǎn)，并根據(jù)所述最佳匹配點(diǎn)求得左右圖像匹配的像素點(diǎn)；

b3．根據(jù)左右圖像對(duì)應(yīng)匹配的像素點(diǎn)水平方向值的大小，判斷出像素點(diǎn)與屏幕的相對(duì)立體關(guān)系；

b4．統(tǒng)計(jì)左右圖像像素點(diǎn)正視差最大值。

除了這種具體實(shí)現(xiàn)方法外，還可以通過(guò)步驟b3所計(jì)算出的當(dāng)前像素的視差關(guān)系，得到當(dāng)前像素的視差值，并對(duì)左右圖像所有像素的視差值進(jìn)行統(tǒng)計(jì)，得到正視差的最大值。

具體的，步驟c中計(jì)算虛擬視點(diǎn)的插入位置及三維透視投影的偏移角度包括：

計(jì)算在已有的雙目立體圖像內(nèi)側(cè)插入的虛擬視點(diǎn)個(gè)數(shù)；

計(jì)算在已有的雙目立體圖像外側(cè)插入的虛擬視點(diǎn)個(gè)數(shù)；

計(jì)算相鄰的左右兩路圖像間的視差；

計(jì)算相鄰的左右兩路圖像進(jìn)行透視投影的偏移角度。