[發明專利]一種基于卷積神經網絡的全身人像視頻重照明方法和裝置

在審

• 申請號: 202210612418.2
• 申請日: 2022-05-31
• 公開（公告）號: CN115100337A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 黃海;朱玥琰;陳洪;李琳;徐嵩;穆俊生;陳傲然;于華妍;張舒
• 申請（專利權）人: 北京郵電大學;咪咕文化科技有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/50;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 羅嵐

1.一種基于卷積神經網絡的全身人像視頻重照明方法，其特征在于，包括：

獲取待處理視頻圖像，其中，所述待處理視頻包括全身人像視頻圖像；

將所述待處理視頻圖像的多個圖像幀和目標照明場景輸入至預先訓練的圖像處理模型，得到渲染圖像幀序列，其中，所述圖像處理模型用于將所述圖像幀和目標照明場景渲染為所述目標照明場景下的所述渲染圖像幀，并對所述渲染圖像幀進行時間一致性處理；

將所述渲染圖像幀序列合成為重照明視頻圖像。

2.根據權利要求1的方法，其特征在于，所述預先訓練的圖像處理模型包括第一卷積神經網絡和第二卷積神經網絡，所述將所述待處理視頻圖像的多個圖像幀和目標照明場景輸入至預先訓練的圖像處理模型，得到渲染圖像幀序列，包括：

將所述圖像幀中的每個圖像幀逐幀輸入至所述第一卷積神經網絡進行去光照處理，得到標準照明場景下的人像反照率圖像和法線貼圖；

將相鄰的多個圖像幀的人像反照率圖像和法線貼圖以及所述目標照明環境圖同時輸入至多個所述第二卷積神經網絡，得到合成的多個重照明幀，其中，所述多個第二卷積神經網絡之間通過幀間注意力機制編碼時間一致性；

對所述圖像幀中的背景圖像和所述多個重照明幀進行合成，生成所述渲染圖像幀序列。

3.根據權利要求2的方法，其特征在于，在所述將所述圖像幀中的每個圖像幀逐幀輸入至所述第一卷積神經網絡進行去光照處理之前，還包括：

獲取訓練數據，所述訓練數據包括不同照明場景下的視頻圖像數據；

將兩種不同照明場景下的視頻圖像數據分別輸入至預先構建的第一初始卷積神經網絡，分別得到所述兩種不同照明場景下的視頻圖像數據對應的反照率圖像和法線貼圖；

計算所述兩種不同照明場景下的視頻圖像數據對應的反照率圖像和法線貼圖的歐式空間距離，以及所述第一初始卷積神經網絡的卷積層特征圖的特征空間距離；

將所述反照率圖像和法線貼圖的歐式空間距離和所述特征空間距離共同作為損失函數以進行網絡的訓練，得到訓練后的所述第一卷積神經網絡。

4.根據權利要求3的方法，其特征在于，在所述將相鄰的多個圖像幀的人像反照率圖像和法線貼圖以及所述目標照明環境圖同時輸入至多個所述第二卷積神經網絡，得到合成的多個重照明幀之前，還包括：

根據所述幀間注意力機制對預先構建的多個第二初始卷積神經網絡進行時間一致性編碼；

將所述兩種照明場景下的任一種照明場景下對應的所述相鄰的多個圖像幀的人像反照率圖像和法線貼圖同時分別輸入至所述多個第二初始卷積神經網絡，輸出所述多個重照明幀；

基于所述多個重照明幀和所述相鄰的多個圖像幀的目標照明環境圖對多個所述第二初始卷積神經網絡進行訓練，得到訓練后的多個所述第二卷積神經網絡。

5.一種基于卷積神經網絡的全身人像視頻重照明裝置，其特征在于，包括：

第一獲取模塊，用于獲取待處理視頻圖像，其中，所述待處理視頻包括全身人像視頻圖像；

渲染模塊，用于將所述待處理視頻圖像的多個圖像幀和目標照明場景輸入至預先訓練的圖像處理模型，得到渲染圖像幀序列，其中，所述圖像處理模型用于將所述圖像幀和目標照明場景渲染為所述目標照明場景下的所述渲染圖像幀，并對所述渲染圖像幀進行時間一致性處理；

合成模塊，用于將所述渲染圖像幀序列合成為重照明視頻圖像。

6.根據權利要求5的裝置，其特征在于，所述渲染模塊，包括：

第一輸入單元，用于將所述圖像幀中的每個圖像幀逐幀輸入至所述第一卷積神經網絡進行去光照處理，得到標準照明場景下的人像反照率圖像和法線貼圖；

第二輸入單元，用于將相鄰的多個圖像幀的人像反照率圖像和法線貼圖以及所述目標照明環境圖同時輸入至多個所述第二卷積神經網絡，得到合成的多個重照明幀，其中，所述多個第二卷積神經網絡之間通過幀間注意力機制編碼時間一致性；

合成單元，用于對所述圖像幀中的背景圖像和所述多個重照明幀進行合成，生成所述渲染圖像幀序列。