[發(fā)明專利]用于圖像合成的光照重映射方法、裝置、存儲介質(zhì)和處理器

有效

• 申請?zhí)枺?/td>: 201910410192.6
• 申請日: 2019-05-16
• 公開（公告）號: CN110288512B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 張靖淇;徐瀅
• 申請（專利權(quán)）人: 成都品果科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/50;G06T7/194
• 代理公司: 成都玖和知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51238
• 代理人: 胡琳梅

1.一種待合成圖像與背景圖像之間光照效果的自動映射方法，其特征在于，所述自動映射方法包括以下步驟：

獲取待合成的前景圖像和背景圖像；

通過基于Encoder-Decoder?結(jié)構(gòu)的全卷積深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的光照重映射網(wǎng)絡(luò)來將所述前景圖像生成一光照重映射圖像；

計算生成的所述光照重映射圖像在光照上相對于所述背景圖像的光照損失；

計算生成的所述光照重映射圖像在內(nèi)容上相對于所述前景圖像的內(nèi)容損失；

通過在所述光照重映射網(wǎng)絡(luò)使用隨機梯度下降來更新所述光照重映射網(wǎng)絡(luò)中Decoder網(wǎng)絡(luò)部分中用于調(diào)節(jié)所述光照損失和所述內(nèi)容損失之間的權(quán)重參數(shù)，使所述光照重映射圖像在所述光照重映射網(wǎng)絡(luò)中迭代生成，直至所生成的所述光照重映射圖像在光照效果上與所述背景圖像一致，并在內(nèi)容上與所述前景圖像一致；

所述光照損失是通過所述光照重映射圖像和所述背景圖像的光照特征來計算得到，其中，所述光照特征是通過基于度量學習或基于邊界的分類的方法訓(xùn)練得到的光照信息提取網(wǎng)絡(luò)進行提取獲得；

所述內(nèi)容損失是通過所述光照重映射圖像和所述前景圖像的內(nèi)容特征來計算得到，其中，所述內(nèi)容特征是通過所述光照重映射網(wǎng)絡(luò)中Encoder網(wǎng)絡(luò)部分進行提取獲得。

2.一種照片合成方法，其特征在于，其包括權(quán)利要求1所述的待合成圖像與背景圖像之間光照效果的自動映射方法。

3.一種待合成圖像與背景圖像之間光照效果的自動映射裝置，其特征在于，所述自動映射裝置包括：

圖像獲取模塊，用于獲取待合成的前景圖像和背景圖像；

圖像映射模塊，用于通過基于Encoder-Decoder?結(jié)構(gòu)的全卷積深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的光照重映射網(wǎng)絡(luò)來將所述前景圖像生成一光照重映射圖像；

第一計算模塊，用于計算生成的所述光照重映射圖像在光照上相對于所述背景圖像的光照損失；

第二計算模塊，用于計算生成的所述光照重映射圖像在內(nèi)容上相對于所述前景圖像的內(nèi)容損失；

調(diào)節(jié)模塊，用于通過在所述光照重映射網(wǎng)絡(luò)使用隨機梯度下降來更新所述光照重映射網(wǎng)絡(luò)中Decoder網(wǎng)絡(luò)部分中用于調(diào)節(jié)所述光照損失和所述內(nèi)容損失之間的權(quán)重參數(shù)，使所述光照重映射圖像在所述光照重映射網(wǎng)絡(luò)中迭代生成，直至所生成的所述光照重映射圖像在光照效果上與所述背景圖像一致，并在內(nèi)容上與所述前景圖像一致；所述光照損失是通過所述光照重映射圖像和所述背景圖像的光照特征來計算得到，其中，所述光照特征是通過基于度量學習或基于邊界的分類的方法訓(xùn)練得到的光照信息提取網(wǎng)絡(luò)進行提取獲得；

所述內(nèi)容損失是通過所述光照重映射圖像和所述前景圖像的內(nèi)容特征來計算得到，其中，所述內(nèi)容特征是通過所述光照重映射網(wǎng)絡(luò)中Encoder網(wǎng)絡(luò)部分進行提取獲得。

4.一種照片合成裝置，其特征在于，其包括權(quán)利要求3所述的待合成圖像與背景圖像之間光照效果的自動映射裝置。

5.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)包括存儲的程序，所述程序在運行時執(zhí)行如權(quán)利要求1所述的待合成圖像與背景圖像之間光照效果的自動映射方法。

6.一種處理器，其特征在于，所述處理器用于運行程序，所述程序運行時執(zhí)行權(quán)利要求1所述的待合成圖像與背景圖像之間光照效果的自動映射方法。