[發(fā)明專利]一種并行虛擬視點(diǎn)合成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410317820.3
• 申請(qǐng)日: 2014-07-03
• 公開(kāi)（公告）號(hào): CN104079915A
• 公開(kāi)（公告）日: 2014-10-01
• 發(fā)明（設(shè)計(jì)）人: 金欣;劉站奇;戴瓊海
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)深圳研究生院
• 主分類(lèi)號(hào): H04N13/00
• 分類(lèi)號(hào): H04N13/00;H04N15/00;H04N21/24
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 王震宇

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理領(lǐng)域，特別涉及一種并行虛擬視點(diǎn)合成方法。

背景技術(shù)

自由視點(diǎn)視頻(FTV)可以為用戶提供任意視點(diǎn)的場(chǎng)景圖像，從而極大地增強(qiáng)用戶的視覺(jué)體驗(yàn)效果，因而具有廣闊的發(fā)展前景。隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的來(lái)臨，越來(lái)越多的娛樂(lè)媒體活動(dòng)慢慢地從PC機(jī)轉(zhuǎn)移到了以手機(jī)、平板為代表的移動(dòng)終端上。這種終端一個(gè)顯著的特征是其內(nèi)嵌的多核技術(shù)，大大增加了手機(jī)等移動(dòng)終端的運(yùn)行速度。如果能在移動(dòng)終端上實(shí)現(xiàn)FTV，那么其中蘊(yùn)含的價(jià)值不僅僅是經(jīng)濟(jì)意義，而且將極大地普及3D技術(shù)。

為了重建高質(zhì)量的任意視點(diǎn)圖像應(yīng)用于FTV，MPEG組織開(kāi)發(fā)了VSRS(View?Synthesis?Reference?Software)參考軟件,此軟件用兩個(gè)參考視點(diǎn)紋理圖和相應(yīng)的深度圖作為輸入來(lái)生成一個(gè)合成的虛擬視點(diǎn)。VSRS一個(gè)致命的缺點(diǎn)是耗時(shí)非常長(zhǎng)，其虛擬視點(diǎn)合成速度大約是2幀/秒，遠(yuǎn)小于實(shí)時(shí)播放下要求的30幀/秒。這就造成了VSRS在現(xiàn)實(shí)中的應(yīng)用受到了限制。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)存在的技術(shù)問(wèn)題，提高虛擬視點(diǎn)的合成速度。

為此，本發(fā)明提出一種并行虛擬視點(diǎn)合成方法，包括：

對(duì)讀入的輸入幀進(jìn)行分割，讓各個(gè)線程分別對(duì)不同的圖像塊進(jìn)行并行的視點(diǎn)合成，然后將各個(gè)子線程產(chǎn)生的虛擬視點(diǎn)圖像進(jìn)行拼接，產(chǎn)生一個(gè)完整的虛擬視點(diǎn)圖像輸出。

優(yōu)選地，所述方法包括：根據(jù)當(dāng)前幀線程之間的負(fù)載情況調(diào)整下一幀的分割高度來(lái)達(dá)到負(fù)載均衡，所述調(diào)整包括以下步驟：

根據(jù)每個(gè)線程時(shí)間與平均線程時(shí)間之差，計(jì)算幀內(nèi)每個(gè)分割高度調(diào)整所對(duì)應(yīng)的時(shí)間，然后以行為單位向上或者向下搜索，補(bǔ)償此時(shí)間進(jìn)而算出調(diào)整高度，實(shí)現(xiàn)負(fù)載均衡，其中，每個(gè)線程的視點(diǎn)合成包括參考視點(diǎn)向虛擬視點(diǎn)的映射和左右映射圖像的融合，將參考視點(diǎn)向虛擬視點(diǎn)的映射所用的時(shí)間和左右映射圖像的融合所用的時(shí)間之和作為各個(gè)線程時(shí)間。

優(yōu)選地，通過(guò)以下方式確定每個(gè)線程時(shí)間：

確定參考視點(diǎn)向虛擬視點(diǎn)的映射所用的時(shí)間為：

T_{ForwardWarp()}＝k₁·Width·height·2，其中Width為線程對(duì)應(yīng)的圖像塊的寬度，height為線程對(duì)應(yīng)的圖像塊的高度，

確定左右映射圖像的融合所用的時(shí)間為：

TMerge()=k2·Σi=1heightNumber_nonholes[i],]]>其中Number_nonholes[i]是線程對(duì)應(yīng)的圖像塊中第i行的非空洞數(shù)目，是線程對(duì)應(yīng)的圖像塊中所有的非空洞數(shù)目之和，

確定執(zhí)行此圖像塊的線程時(shí)間為：