[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的全身人像視頻重照明方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210612418.2
• 申請(qǐng)日: 2022-05-31
• 公開(kāi)（公告）號(hào): CN115100337A
• 公開(kāi)（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 黃海;朱玥琰;陳洪;李琳;徐嵩;穆俊生;陳傲然;于華妍;張舒
• 申請(qǐng)（專利權(quán)）人: 北京郵電大學(xué);咪咕文化科技有限公司
• 主分類號(hào): G06T15/00
• 分類號(hào): G06T15/00;G06T15/50;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 羅嵐

本申請(qǐng)公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的全身人像視頻重照明方法和裝置，其中，該方法包括：獲取待處理視頻圖像，其中，待處理視頻包括全身人像視頻圖像；將待處理視頻圖像的多個(gè)圖像幀和目標(biāo)照明場(chǎng)景輸入至預(yù)先訓(xùn)練的圖像處理模型，得到渲染圖像幀序列，其中，圖像處理模型用于將圖像幀和目標(biāo)照明場(chǎng)景渲染為目標(biāo)照明場(chǎng)景下的渲染圖像幀，并對(duì)渲染圖像幀進(jìn)行時(shí)間一致性處理；將渲染圖像幀序列合成為重照明視頻圖像。本申請(qǐng)能夠?qū)崿F(xiàn)全身人像的重照明，提升重照明效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像處理領(lǐng)域，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的全身人像視頻重照明方法和裝置。

背景技術(shù)

隨著數(shù)字?jǐn)z影技術(shù)的興起，人們對(duì)于數(shù)字圖像處理的需求越來(lái)越大，手工修圖需要繁雜的工作量，并且對(duì)用戶的專業(yè)性有較高的要求，這促使了工業(yè)界對(duì)自動(dòng)圖像增強(qiáng)等技術(shù)的關(guān)注。由于人眼對(duì)光照的敏感性，重照明逐漸成為其中最為重要、前沿的技術(shù)之一。真實(shí)感重照明為增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、數(shù)字特效提供了身臨其境的視覺(jué)效果，在多媒體技術(shù)行業(yè)有著廣泛的應(yīng)用。尤其在舞臺(tái)演藝場(chǎng)景中，經(jīng)常需要復(fù)雜多變的光照設(shè)置以輔助表演效果，如何在具有挑戰(zhàn)性的動(dòng)態(tài)光照條件下實(shí)現(xiàn)一致的重照明視頻結(jié)果仍然是一個(gè)待解決的困難問(wèn)題。

現(xiàn)有技術(shù)中已有許多應(yīng)用于視頻、圖像重照明領(lǐng)域的方法：

傳統(tǒng)的重照明方法需要通過(guò)多目攝像機(jī)對(duì)光照進(jìn)行密集的采樣，通過(guò)時(shí)間微分并積分等方法將光照量化后重新映射到待照明圖像上。該方法不僅需要強(qiáng)大的硬件支持，計(jì)算量也不容忽視，在算法效率和生成圖片質(zhì)量方面均有較大的提升空間；現(xiàn)階段基于深度學(xué)習(xí)的方法實(shí)現(xiàn)了端到端的重照明操作，通過(guò)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法線貼圖和反照率圖像，最后執(zhí)行重照明圖像的合成渲染。谷歌提出一種通過(guò)構(gòu)建隱式反射模型以模擬復(fù)雜的光傳輸?shù)姆椒?，然而?duì)于人體服裝的反照率圖像預(yù)測(cè)不夠準(zhǔn)確，并且沒(méi)有進(jìn)行明確的時(shí)間一致性建模，會(huì)導(dǎo)致一定的時(shí)間不穩(wěn)定性；清華大學(xué)提出通過(guò)顯式建模多個(gè)反射通道，嵌入面部反照率、幾何結(jié)構(gòu)以及鏡面反射和陰影，但沒(méi)有考慮到全局照明、次表面散射等復(fù)雜的光傳輸效果。并且該方法只對(duì)面部重照明進(jìn)行了實(shí)驗(yàn)，全身重照明仍然是一個(gè)需要解決的難點(diǎn)；上?？萍即髮W(xué)提出了一種視頻肖像重照明的方案，通過(guò)對(duì)抗性訓(xùn)練實(shí)現(xiàn)實(shí)時(shí)的人臉重照明，但該方法由于缺少面部幾何信息，導(dǎo)致重照明結(jié)果存在一定的偽影、假面現(xiàn)象，真實(shí)感不足。

綜上所述，現(xiàn)有技術(shù)的重照明方法均存在局限性，無(wú)法在具有挑戰(zhàn)性的動(dòng)態(tài)光照條件下實(shí)現(xiàn)一致的重照明視頻結(jié)果。

申請(qǐng)內(nèi)容

本申請(qǐng)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

為此，本申請(qǐng)的目的在于實(shí)現(xiàn)動(dòng)態(tài)光照條件下一致的重照明視頻效果，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的全身人像視頻重照明方法。

本申請(qǐng)的另一個(gè)目的在于提出基于卷積神經(jīng)網(wǎng)絡(luò)的全身人像視頻重照明裝置。

根據(jù)本申請(qǐng)實(shí)施例的第一方面，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的全身人像視頻重照明方法，包括以下步驟：

獲取待處理視頻圖像，其中，所述待處理視頻包括全身人像視頻圖像；

將所述待處理視頻圖像的多個(gè)圖像幀和目標(biāo)照明場(chǎng)景輸入至預(yù)先訓(xùn)練的圖像處理模型，得到渲染圖像幀序列，其中，所述圖像處理模型用于將所述圖像幀和目標(biāo)照明場(chǎng)景渲染為所述目標(biāo)照明場(chǎng)景下的所述渲染圖像幀，并對(duì)所述渲染圖像幀進(jìn)行時(shí)間一致性處理；

將所述渲染圖像幀序列合成為重照明視頻圖像。

在一些可能的實(shí)施例中，所述預(yù)先訓(xùn)練的圖像處理模型包括第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)，所述將所述待處理視頻圖像的多個(gè)圖像幀和目標(biāo)照明場(chǎng)景輸入至預(yù)先訓(xùn)練的圖像處理模型，得到渲染圖像幀序列，包括：

將所述圖像幀中的每個(gè)圖像幀逐幀輸入至所述第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行去光照處理，得到標(biāo)準(zhǔn)照明場(chǎng)景下的人像反照率圖像和法線貼圖；