[發(fā)明專(zhuān)利]一種虛擬視點(diǎn)合成方法、系統(tǒng)、介質(zhì)、設(shè)備及終端

在審

• 申請(qǐng)?zhí)枺?/td>: 202210332563.5
• 申請(qǐng)日: 2022-03-31
• 公開(kāi)（公告）號(hào): CN114677477A
• 公開(kāi)（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 魏敏;張應(yīng)馳;朱燁;文武
• 申請(qǐng)（專(zhuān)利權(quán)）人: 成都信息工程大學(xué)
• 主分類(lèi)號(hào): G06T17/00
• 分類(lèi)號(hào): G06T17/00;G06T15/00;G06T19/20
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 王東旭

本發(fā)明屬于三維顯示技術(shù)領(lǐng)域，公開(kāi)了一種虛擬視點(diǎn)合成方法、系統(tǒng)、介質(zhì)、設(shè)備及終端，通過(guò)參考色彩圖及深度圖經(jīng)3D?Warping合成虛擬視圖；將帶有空洞、偽影和重疊的虛擬視圖經(jīng)空洞填補(bǔ)模塊空洞填補(bǔ)；將填補(bǔ)空洞后的圖像經(jīng)圖像優(yōu)化模塊進(jìn)行圖像質(zhì)量的整體優(yōu)化，輸出虛擬視圖。本發(fā)明虛擬視點(diǎn)修復(fù)模型的第一階段是在單尺度部分卷積的基礎(chǔ)上提出了多尺度融合的部分卷積，更好地聯(lián)系了上下文信息，增強(qiáng)了模型細(xì)節(jié)修復(fù)能力，降低資源傳輸成本。本發(fā)明在空洞填補(bǔ)后由于部分卷積自身的局限會(huì)殘留局部色差，使用第二階段圖像質(zhì)量?jī)?yōu)化網(wǎng)絡(luò)去除圖像重疊和偽影問(wèn)題的同時(shí)，還可以有效解決部分卷積帶來(lái)的局部色差，使優(yōu)化后的圖像整體質(zhì)量提高。

技術(shù)領(lǐng)域

本發(fā)明屬于三維顯示技術(shù)領(lǐng)域，尤其涉及一種虛擬視點(diǎn)合成方法、系統(tǒng)、介質(zhì)、設(shè)備及終端。

背景技術(shù)

目前，隨著三維顯示技術(shù)的不斷進(jìn)步，普通的2D視頻逐漸向3D視頻發(fā)展。作為三維顯示的關(guān)鍵技術(shù)，基于深度圖像的虛擬視點(diǎn)繪制技術(shù)(Depth Image Based Rendering，DIBR)具有繪制速度快、傳輸數(shù)據(jù)量小、存儲(chǔ)空間少等優(yōu)點(diǎn)。另外，由于深度圖的質(zhì)量以及物體間的遮擋，繪制后的圖像仍然存在空洞、重疊、偽影等問(wèn)題，導(dǎo)致虛擬視點(diǎn)圖像質(zhì)量整體下降。為此，人們提出了許多改進(jìn)的DIBR算法進(jìn)行虛擬視點(diǎn)合成，包括在DIBR前對(duì)深度圖進(jìn)行預(yù)處理減少空洞數(shù)量，DIBR后利用圖像信息填補(bǔ)空洞，將深度信息引入到圖像融合減少偽影和重疊。但是這些方法的往往需要復(fù)雜的處理手段，而且模型處理速度極慢。

隨著硬件性能和深度學(xué)習(xí)技術(shù)的發(fā)展，深度學(xué)習(xí)技術(shù)在對(duì)圖像高層語(yǔ)義表現(xiàn)出了強(qiáng)悍的理解力和感知力，很多基于深度學(xué)習(xí)的方法也被應(yīng)用于虛擬視圖合成。但是直接使用現(xiàn)有的深度學(xué)習(xí)進(jìn)行空洞填補(bǔ)會(huì)導(dǎo)致修復(fù)后圖像出現(xiàn)局部色差和模糊現(xiàn)象。

因此，為了提高虛擬視點(diǎn)圖像的質(zhì)量并針對(duì)傳統(tǒng)和深度學(xué)習(xí)方法存在的問(wèn)題，亟需設(shè)計(jì)一種虛擬視點(diǎn)合成方法、系統(tǒng)。

通過(guò)上述分析，現(xiàn)有技術(shù)存在的問(wèn)題及缺陷為：(1)現(xiàn)有的傳統(tǒng)空洞填補(bǔ)算法缺少對(duì)圖像細(xì)節(jié)的語(yǔ)義感知。(2)使用現(xiàn)有的部分卷積網(wǎng)絡(luò)進(jìn)行空洞填補(bǔ)會(huì)導(dǎo)致修復(fù)后圖像出現(xiàn)局部色差和模糊現(xiàn)象。(3)現(xiàn)有的重疊、偽影去除方法一方面會(huì)消耗較多的存儲(chǔ)資源，另一方面存在一定局限性，具體實(shí)施起來(lái)相對(duì)復(fù)雜。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供了一種虛擬視點(diǎn)合成方法、系統(tǒng)、介質(zhì)、設(shè)備及終端，尤其涉及一種基于兩階段修復(fù)模型的虛擬視點(diǎn)合成方法、系統(tǒng)、介質(zhì)、設(shè)備及終端。

本發(fā)明是這樣實(shí)現(xiàn)的，一種虛擬視點(diǎn)合成方法，所述虛擬視點(diǎn)合成方法包括兩個(gè)相互獨(dú)立的階段：

第一階段由空洞填補(bǔ)模塊多尺度融合部分卷積組成，用于對(duì)不規(guī)則空洞進(jìn)行修復(fù)；第二階段由圖像優(yōu)化模塊組成，用于去除虛擬視圖中的重疊、偽影和部分卷積帶來(lái)的局部色差。

進(jìn)一步，所述虛擬視點(diǎn)合成方法包括以下步驟：

步驟一，通過(guò)參考色彩圖及深度圖經(jīng)3D-Warping合成虛擬視圖；

步驟二，將帶有空洞、偽影和重疊的虛擬視圖經(jīng)空洞填補(bǔ)模塊空洞填補(bǔ)；

步驟三，將填補(bǔ)空洞后的圖像經(jīng)圖像優(yōu)化模塊進(jìn)行圖像質(zhì)量的整體優(yōu)化，輸出虛擬視圖。

進(jìn)一步，所述步驟一中的虛擬視圖合成包括：

虛擬視圖的生成的核心是三維圖像變換3D-Warping，包括反向投影和重投影，利用已知參考視圖的深度信息將色彩圖像逆投影到3D世界坐標(biāo)系中，并將世界坐標(biāo)中的點(diǎn)重投影到虛擬視點(diǎn)平面。

3D-Warping的方程表示如以下公式所示：

P_w＝(K_rR_r)^-1(d_rp_r+K_rt_r)；