[發(fā)明專利]多光源預測方法

在審

• 申請?zhí)枺?/td>: 202110136230.0
• 申請日: 2021-02-01
• 公開（公告）號: CN112819787A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計）人: 董宇涵;邢曉巖;李志德;余澄
• 申請（專利權(quán)）人: 清華大學深圳國際研究生院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 深圳新創(chuàng)友知識產(chǎn)權(quán)代理有限公司 44223
• 代理人: 王震宇

1.一種多光源預測方法，其特征在于，包括如下步驟：

由特征提取網(wǎng)絡(luò)進行圖像的色彩與語義特征的解耦，得到高維特征矩陣；

由主成光源預測網(wǎng)絡(luò)，通過所述特征提取網(wǎng)絡(luò)得到的高維特征矩陣進行主成光源的光源值的預測；

由光源分布權(quán)重圖預測網(wǎng)絡(luò)，通過所述特征提取網(wǎng)絡(luò)中得到的高維特征矩陣，實現(xiàn)像素級的光源分布權(quán)重圖預測。

2.如權(quán)利要求1所述的多光源預測方法，其特征在于，所述特征提取網(wǎng)絡(luò)包含淺層語義提取分支、深層語義提取分支以及色彩偏好提取分支，所述淺層語義提取分支通過較小的感受野對圖像中的淺層語義信息進行提取，所述深層語義提取分支通過較大的感受野對圖像中的深層語義信息進行提取，以便提取圖像中不同組成結(jié)構(gòu)的關(guān)聯(lián)關(guān)系，所述色彩偏好提取分支進行圖像中的色彩偏好提取，以便實現(xiàn)色彩與語義特征的解耦。

3.如權(quán)利要求2所述的多光源預測方法，其特征在于，采用如下設(shè)置一種或多種：

所述淺層語義提取分支包含5個卷積層，4個池化層，該分支所有的卷積層均為卷積核為3×3，步長為2；

所述深層語義提取分支采用AlexNet的前5層網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含5個卷積層以及3個池化層，其中前兩層卷積層的卷積核分別為11×11以及5×5，后三層卷積層卷積核均為3×3；

所述色彩偏好提取分支采用5個卷積層以及4個池化層，所有的卷積層卷積核均為1×1。

4.如權(quán)利要求1至3任一項所述的多光源預測方法，其特征在于，所述主成光源預測網(wǎng)絡(luò)包括光源位置選擇模塊以及光源回歸模塊，所述光源位置選擇模塊由與待預測光源數(shù)量相同的卷積網(wǎng)絡(luò)構(gòu)成，采用卷積核大小為1×1的卷積層，結(jié)合2倍的池化下采樣實現(xiàn)對于光源位置的確定；所述光源回歸模塊采用全卷積網(wǎng)絡(luò)，在所述光源位置選擇模塊確定光源位置后，通過提取各通道的特征，實現(xiàn)光源的回歸。

5.如權(quán)利要求4所述的多光源預測方法，其特征在于，所述主成光源預測網(wǎng)絡(luò)還包括通道注意力模塊，所述通道注意力模塊將原始高維特征矩陣F中的通道進行重新加權(quán)，從而獲得具有不同通道權(quán)重值的特征矩陣G。

6.如權(quán)利要求5所述的多光源預測方法，其特征在于，所述特征矩陣G通過公式(1)計算：

其中，ω為通道加權(quán)的權(quán)重，k是對應矩陣通道的維數(shù)，i為對應特征圖的像素點，表示各通道相乘。

7.如權(quán)利要求1至6任一項所述的多光源預測方法，其特征在于，所述光源分布權(quán)重圖預測網(wǎng)絡(luò)包括四個上采樣層，所述四個上采樣層與所述特征提取網(wǎng)絡(luò)中對應特征圖大小位置進行短連接。

8.如權(quán)利要求1至7任一項所述的多光源預測方法，其特征在于，采用預測光源值與真實標定光源值E之間的角誤差L_angular作為評價指標如下：

其中，預測值與真實標定值E之間使用內(nèi)積(·)計算，光源值實際是大小為(1,1,3)的3維矩陣，該矩陣代表在RGB空間中R、G、B三通道值的大小；

以最小化預測值與真實值之間的角誤差L_angular作為優(yōu)化目標，并將角誤差L_angular作為主成光源預測網(wǎng)絡(luò)的損失函數(shù)用以優(yōu)化迭代該網(wǎng)絡(luò)。

9.如權(quán)利要求8所述的多光源預測方法，其特征在于，還使用均方誤差MSE作為光源分布權(quán)重圖網(wǎng)絡(luò)的損失函數(shù)如下：

其中，N為樣本數(shù)量，i為當前樣本編號，x_i為當前樣本，為所有樣本的均值；

優(yōu)選地，將預測光源值與光源權(quán)重圖相乘得到像素級的光源分布，該光源分布同樣也使用角誤差進行監(jiān)督，監(jiān)督全圖所有像素點角誤差的平均值：

其中，為光源分布圖中每一像素點i的預測光源值，N為全圖像素的總數(shù)，E_i為i點的真實光源值；該網(wǎng)絡(luò)最終的損失函數(shù)L為：

其中，k代表k個候選主成光源k∈{2,...,N}。

10.一種計算機可讀存儲介質(zhì)，存儲有計算機程序，其特征在于，所述計算機程序由處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1至9任一項所述的方法。