[發(fā)明專利]一種基于深度學(xué)習(xí)的單視點(diǎn)合成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110109060.7
• 申請(qǐng)日: 2021-01-27
• 公開（公告）號(hào): CN112927175B
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 雷建軍;劉秉正;彭勃;于傳波;張哲
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

本發(fā)明公開了一種基于深度學(xué)習(xí)的單視點(diǎn)合成方法，包括：根據(jù)多級(jí)流預(yù)測(cè)機(jī)制將處于非遮擋區(qū)域的目標(biāo)視點(diǎn)圖像的像素進(jìn)行合成，獲取第一合成目標(biāo)視點(diǎn)圖像；利用漸進(jìn)轉(zhuǎn)換機(jī)制學(xué)習(xí)源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的漸進(jìn)轉(zhuǎn)換趨勢(shì)，對(duì)合成的目標(biāo)視點(diǎn)圖像的像素進(jìn)行回歸計(jì)算，合成遮擋區(qū)域的像素，獲取第二合成目標(biāo)視點(diǎn)圖像；利用置信度聚合機(jī)制將第一、第二合成目標(biāo)視點(diǎn)圖像進(jìn)行聚合；根據(jù)循環(huán)合成機(jī)制實(shí)現(xiàn)聚合后的合成目標(biāo)視點(diǎn)圖像到源視點(diǎn)圖像的逆向映射；基于多級(jí)流預(yù)測(cè)機(jī)制、漸進(jìn)轉(zhuǎn)換機(jī)制、循環(huán)合成機(jī)制獲取生成對(duì)抗損失函數(shù)，進(jìn)而訓(xùn)練視點(diǎn)合成網(wǎng)絡(luò)，實(shí)現(xiàn)單視點(diǎn)合成。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)、視點(diǎn)合成領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的單視點(diǎn)合成方法。

背景技術(shù)

隨著多媒體與成像技術(shù)的快速發(fā)展，多視點(diǎn)視頻獲得了工業(yè)界和學(xué)術(shù)界廣泛的關(guān)注。多視點(diǎn)視頻能夠提供豐富的三維場(chǎng)景信息，廣泛應(yīng)用于自由視點(diǎn)顯示、虛擬現(xiàn)實(shí)和視頻監(jiān)控等領(lǐng)域。然而，在實(shí)際應(yīng)用中，多視點(diǎn)圖像的獲取、傳輸和存儲(chǔ)十分困難。視點(diǎn)合成技術(shù)因其能夠在給定一個(gè)或多個(gè)視點(diǎn)圖像的條件下合成其他任意視點(diǎn)的圖像，成為當(dāng)前的研究熱點(diǎn)。根據(jù)輸入源圖像數(shù)量的不同，視點(diǎn)合成方法可以分類為多視點(diǎn)合成方法和單視點(diǎn)合成方法。本發(fā)明主要關(guān)注單視點(diǎn)合成方法。

單視點(diǎn)合成方法主要包括：流預(yù)測(cè)方法和像素生成方法。流預(yù)測(cè)方法首先通過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)源視點(diǎn)與目標(biāo)視點(diǎn)之間的視差圖，然后根據(jù)所學(xué)習(xí)的視差圖對(duì)源視點(diǎn)圖像進(jìn)行雙線性插值獲得目標(biāo)視點(diǎn)圖像。由于這種方法是利用視差圖對(duì)源視點(diǎn)圖像進(jìn)行像素搬移獲得目標(biāo)視點(diǎn)圖像，合成的目標(biāo)視點(diǎn)圖像的紋理內(nèi)容較好，但是對(duì)處于遮擋區(qū)域的像素還不能很好的合成。像素生成方法直接利用像素回歸的思想，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)目標(biāo)位置的圖像。雖然這種方法能夠直接生成遮擋區(qū)域的像素，但所合成的目標(biāo)視點(diǎn)圖像的紋理信息欠佳。盡管有方法提出將流預(yù)測(cè)方法和像素生成方法進(jìn)行有效結(jié)合來(lái)合成目標(biāo)視點(diǎn)圖像，但是這些單視點(diǎn)合成方法采用的都是源視點(diǎn)到目標(biāo)視點(diǎn)的直接映射來(lái)合成目標(biāo)視點(diǎn)圖像，忽略了源視點(diǎn)和目標(biāo)視點(diǎn)之間的漸進(jìn)轉(zhuǎn)換信息以及合成的目標(biāo)視點(diǎn)圖像的錯(cuò)誤像素糾正問(wèn)題。因此，如何有效探索視點(diǎn)間的映射關(guān)系以提高單視點(diǎn)合成的性能具有重要的研究意義。

得益于深度學(xué)習(xí)在監(jiān)督學(xué)習(xí)任務(wù)中的成功，近年來(lái)基于深度學(xué)習(xí)的單視點(diǎn)合成方法開始受到關(guān)注。Habtegebrial等人通過(guò)預(yù)測(cè)源視點(diǎn)圖像的深度圖來(lái)實(shí)現(xiàn)從源視點(diǎn)到目標(biāo)視點(diǎn)的映射。Xie等人利用網(wǎng)絡(luò)預(yù)測(cè)的源視點(diǎn)與目標(biāo)視點(diǎn)之間的多個(gè)視差圖來(lái)合成目標(biāo)視點(diǎn)圖像。Sun等人提出了一種置信度聚合機(jī)制來(lái)聚合流預(yù)測(cè)和像素生成方法合成目標(biāo)視點(diǎn)圖像，從而在多視點(diǎn)合成任務(wù)中獲得較好的性能。然而，對(duì)于合成目標(biāo)視點(diǎn)位置物體的圖像，若兩個(gè)視點(diǎn)之間的相對(duì)位置過(guò)大，對(duì)于處于遮擋區(qū)域的像素并不能很好的合成，這會(huì)導(dǎo)致合成的目標(biāo)視點(diǎn)圖像中產(chǎn)生空洞、偽影等現(xiàn)象。

現(xiàn)有的方法大多基于流預(yù)測(cè)和像素生成的方法進(jìn)行源視點(diǎn)到目標(biāo)視點(diǎn)的直接映射，而忽略了源視點(diǎn)和目標(biāo)視點(diǎn)之間的漸進(jìn)轉(zhuǎn)換信息、以及對(duì)合成的目標(biāo)視點(diǎn)圖像中錯(cuò)誤像素的糾正問(wèn)題。

發(fā)明內(nèi)容

當(dāng)前基于深度學(xué)習(xí)的單視點(diǎn)合成方法大多基于卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)源視點(diǎn)到目標(biāo)視點(diǎn)的直接映射關(guān)系，而忽略了源視點(diǎn)到目標(biāo)視點(diǎn)之間由于位置較遠(yuǎn)而造成的像素的錯(cuò)誤映射。此外，對(duì)合成的目標(biāo)視點(diǎn)圖像中錯(cuò)誤像素，當(dāng)前的單視點(diǎn)合成方法還沒(méi)有進(jìn)行有效的糾正。針對(duì)以上問(wèn)題，本發(fā)明利用源視點(diǎn)和目標(biāo)視點(diǎn)的位置信息作為引導(dǎo)，設(shè)計(jì)了基于漸進(jìn)轉(zhuǎn)換和循環(huán)網(wǎng)絡(luò)的單視點(diǎn)合成方法，詳見下文描述：

一種基于深度學(xué)習(xí)的單視點(diǎn)合成方法，所述方法包括：

根據(jù)多級(jí)流預(yù)測(cè)機(jī)制將處于非遮擋區(qū)域的目標(biāo)視點(diǎn)圖像的像素進(jìn)行合成，獲取第一合成目標(biāo)視點(diǎn)圖像；

利用漸進(jìn)轉(zhuǎn)換機(jī)制學(xué)習(xí)源視點(diǎn)圖像到遮擋區(qū)域的目標(biāo)視點(diǎn)圖像的轉(zhuǎn)換趨勢(shì)，對(duì)遮擋區(qū)域的目標(biāo)視點(diǎn)圖像進(jìn)行回歸計(jì)算，合成遮擋區(qū)域的像素，獲取第二合成目標(biāo)視點(diǎn)圖像；

利用置信度聚合機(jī)制將第一、第二合成目標(biāo)視點(diǎn)圖像進(jìn)行聚合；

根據(jù)循環(huán)合成機(jī)制實(shí)現(xiàn)聚合后的合成目標(biāo)視點(diǎn)圖像到源視點(diǎn)圖像的逆向映射；