[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的單視點(diǎn)合成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110109060.7
• 申請(qǐng)日: 2021-01-27
• 公開(kāi)（公告）號(hào): CN112927175B
• 公開(kāi)（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 雷建軍;劉秉正;彭勃;于傳波;張哲
• 申請(qǐng)（專(zhuān)利權(quán)）人: 天津大學(xué)
• 主分類(lèi)號(hào): G06T5/50
• 分類(lèi)號(hào): G06T5/50;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專(zhuān)利代理事務(wù)所 12201
• 代理人: 李林娟

1.一種基于深度學(xué)習(xí)的單視點(diǎn)合成方法，其特征在于，所述方法包括：

根據(jù)多級(jí)流預(yù)測(cè)機(jī)制將處于非遮擋區(qū)域的目標(biāo)視點(diǎn)圖像的像素進(jìn)行合成，獲取第一合成目標(biāo)視點(diǎn)圖像；

利用漸進(jìn)轉(zhuǎn)換機(jī)制學(xué)習(xí)源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的漸進(jìn)轉(zhuǎn)換趨勢(shì)，直接對(duì)合成的目標(biāo)視點(diǎn)圖像的像素進(jìn)行回歸計(jì)算，合成遮擋區(qū)域的像素，獲取第二合成目標(biāo)視點(diǎn)圖像；

利用置信度聚合機(jī)制將第一、第二合成目標(biāo)視點(diǎn)圖像進(jìn)行聚合；

根據(jù)循環(huán)合成機(jī)制實(shí)現(xiàn)聚合后的目標(biāo)視點(diǎn)圖像到源視點(diǎn)圖像的逆向映射；

基于多級(jí)流預(yù)測(cè)機(jī)制、漸進(jìn)轉(zhuǎn)換機(jī)制、循環(huán)合成機(jī)制獲取多種損失函數(shù)，進(jìn)而訓(xùn)練視點(diǎn)合成網(wǎng)絡(luò)，實(shí)現(xiàn)單視點(diǎn)合成；

其中，多級(jí)流預(yù)測(cè)機(jī)制采用具有跳躍連接的編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，編碼器網(wǎng)絡(luò)使用五個(gè)堆疊的卷積層進(jìn)行特征提取，將編碼器最后一個(gè)卷積層獲得的特征經(jīng)過(guò)一個(gè)殘差單元后作為輸入送入解碼器網(wǎng)絡(luò)；解碼器網(wǎng)絡(luò)使用五個(gè)堆疊的反卷積層逐步恢復(fù)圖像的分辨率，使用級(jí)聯(lián)操作分別將編碼器前四個(gè)卷積層提取的特征與解碼器后四個(gè)反卷積層獲得的特征進(jìn)行跳躍連接，對(duì)于解碼器網(wǎng)絡(luò)后四個(gè)反卷積層后獲得的特征，分別利用兩個(gè)堆疊的卷積層降低特征的通道數(shù)獲得多尺度流場(chǎng)(f_x,f_y)；利用所預(yù)測(cè)的多尺度流場(chǎng)對(duì)源視點(diǎn)圖像進(jìn)行雙線(xiàn)性插值可以合成不同分辨率的目標(biāo)視點(diǎn)圖像；

所述漸進(jìn)轉(zhuǎn)換機(jī)制包含兩個(gè)權(quán)重共享的像素生成模塊，分別為源視點(diǎn)到中間轉(zhuǎn)換的第一像素生成模塊和中間轉(zhuǎn)換到目標(biāo)視點(diǎn)的第二像素生成模塊，每個(gè)像素生成模塊均根據(jù)輸入圖像和對(duì)應(yīng)的位姿信息直接合成所需圖像；

所述第一像素生成模塊用于生成源視點(diǎn)和目標(biāo)視點(diǎn)之間的中間轉(zhuǎn)換：

其中，為三個(gè)通道表示圖像，為置信度圖，O_GCM表示映射函數(shù)；

所述第二像素生成模塊用于合成所需的目標(biāo)視點(diǎn)圖像和表示合成目標(biāo)視點(diǎn)圖像的置信度圖c_P，如下：

其中，源視點(diǎn)位姿信息P_S和目標(biāo)視點(diǎn)位姿信息P_T的中間位姿為P_M；

其中，所述置信度聚合機(jī)制為：

將多級(jí)流預(yù)測(cè)機(jī)制合成的目標(biāo)視點(diǎn)圖像和漸進(jìn)轉(zhuǎn)換機(jī)制所獲得的目標(biāo)視點(diǎn)圖像通過(guò)歸一化操作的置信度圖進(jìn)行聚合；對(duì)聚合后圖像I_Agg進(jìn)行約束；

其中，所述循環(huán)合成機(jī)制采用和漸進(jìn)轉(zhuǎn)換機(jī)制相同的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)實(shí)現(xiàn)合成的目標(biāo)視點(diǎn)圖像到源視點(diǎn)圖像的逆向映射，循環(huán)合成機(jī)制包含目標(biāo)視點(diǎn)到中間轉(zhuǎn)換的第三像素生成模塊和中間轉(zhuǎn)換到源視點(diǎn)的第四像素生成模塊；所述訓(xùn)練視點(diǎn)合成網(wǎng)絡(luò)為：

在第一階段，采取多級(jí)流預(yù)測(cè)機(jī)制、漸進(jìn)轉(zhuǎn)換機(jī)制以及置信度聚合機(jī)制進(jìn)行訓(xùn)練，直至收斂；

在第二階段，固定前一階段網(wǎng)絡(luò)的參數(shù)，訓(xùn)練循環(huán)合成機(jī)制的網(wǎng)絡(luò)，直到收斂；

在第三階段，整個(gè)網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練，直至收斂。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的單視點(diǎn)合成方法，其特征在于，所述漸進(jìn)轉(zhuǎn)換機(jī)制的損失函數(shù)L_GCM如下：

其中，H,W分別表示置信度圖的高度和寬度，e表示逐像素相乘，|.|表示絕對(duì)值操作，||.||₂表示L2正則化，表示真實(shí)的目標(biāo)視點(diǎn)圖像。