[發(fā)明專利]一種基于低動(dòng)態(tài)范圍的高精圖像信息提取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010793782.4
• 申請(qǐng)日: 2020-08-10
• 公開（公告）號(hào): CN111915533A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 汪昕;金鑫;朱星帆;時(shí)超;陳力;蔣尚秀
• 申請(qǐng)（專利權(quán)）人: 上海金橋信息股份有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/90;G06N3/04
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 張乾楨

1.一種基于低動(dòng)態(tài)范圍的高精圖像信息提取方法，其特征在于，包括如下步驟：

步驟1：對(duì)圖像進(jìn)行特征提取，從而得到原始圖像RGB三通道以及HSV顏色空間中的V明度通道；所述HSV顏色空間中的V明度通道中保存著圖像上每一點(diǎn)的亮度值信息，記錄了整個(gè)場(chǎng)景的亮度分布情況；所述提取出來的特征供后續(xù)的神經(jīng)網(wǎng)絡(luò)使用；

步驟2：使用全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來分組輸出48個(gè)系數(shù)，并且在其基礎(chǔ)上添加short-cut結(jié)構(gòu)，實(shí)現(xiàn)高層特征和低層特征的融合；最后共輸出48個(gè)球諧系數(shù)，且這48個(gè)數(shù)分為16個(gè)組，每組包含3個(gè)數(shù)據(jù)，分別表示在R通道、G通道和B通道上的分量。

步驟3：建立球諧系數(shù)損失函數(shù)和漫反射貼圖損失函數(shù)，計(jì)算48個(gè)球諧系數(shù)的均方誤差損失函數(shù)和漫反射貼圖損失函數(shù)；

步驟4：利用步驟3的48個(gè)球諧系數(shù)的均方誤差損失函數(shù)和漫反射貼圖損失函數(shù)反饋約束全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

2.根據(jù)權(quán)利要求1所述的一種基于低動(dòng)態(tài)范圍的高精圖像信息提取方法，其特征在于，所述步驟1包括：

選擇HSV顏色空間中的V明度通道，并將其提取出來和原圖像的RGB三通道拼接在一起一同構(gòu)成網(wǎng)絡(luò)的輸入。

3.根據(jù)權(quán)利要求1所述的一種基于低動(dòng)態(tài)范圍的高精圖像信息提取方法，其特征在于，所述步驟2中的全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下，該網(wǎng)絡(luò)中共使用了13層卷積層，在該網(wǎng)絡(luò)中又添加了short-cut結(jié)構(gòu)，該結(jié)構(gòu)中共包含4層卷積層，每層中用于對(duì)圖像進(jìn)行卷積操作的卷積步長為7×7或5×5，每層卷積的結(jié)果都與主網(wǎng)絡(luò)中某一層的結(jié)果進(jìn)行通道方向上的拼接；最后一層采用16個(gè)長度為3的全連接層以分組的形式輸出所有的系數(shù)，除最后兩層外，所有的卷積層之后都有BatchNormation操作和Relu激活函數(shù)。

4.根據(jù)權(quán)利要求1所述的一種基于低動(dòng)態(tài)范圍的高精圖像信息提取方法，其特征在于，所述步驟3中：

采用前4階中的16個(gè)基函數(shù)，并計(jì)算相應(yīng)的系數(shù)實(shí)現(xiàn)球面函數(shù)到球諧函數(shù)的轉(zhuǎn)換，計(jì)算某個(gè)球諧基函數(shù)的系數(shù)時(shí)，首先在球面上均勻采樣，采樣點(diǎn)的數(shù)量由具體情況而定，然后分別計(jì)算每個(gè)采樣點(diǎn)的球面函數(shù)值與球諧基函數(shù)值并計(jì)算兩者的乘積，最后計(jì)算所有采樣點(diǎn)結(jié)果的和；該過程可用如下公式表示：

其中，N為采樣點(diǎn)的數(shù)量，x_j為第j個(gè)樣本，F(xiàn)(x)為球面函數(shù)，Y_i(x)為第i個(gè)球諧基函數(shù)，而c_i為其系數(shù)；將各個(gè)球諧基函數(shù)與其對(duì)應(yīng)的系數(shù)相乘再求和即能求出球面上任意位置的圖像信息。

5.根據(jù)權(quán)利要求1所述的一種基于低動(dòng)態(tài)范圍的高精圖像信息提取方法，其特征在于，所述步驟3中：

其中損失函數(shù)包括2個(gè)部分，分別為：48個(gè)球諧系數(shù)的均方誤差MSE損失函數(shù)和漫反射貼圖損失函數(shù)；而總的優(yōu)化目標(biāo)函數(shù)則定義為兩者的加權(quán)和：

loss＝loss_SH+loss_{diffuse_map}

其中，SH表示球諧函數(shù)，loss_SH表示球諧損失函數(shù)，loss_{diffuse_map}表示漫反射貼圖損失函數(shù)。

6.根據(jù)權(quán)利要求4所述的一種基于低動(dòng)態(tài)范圍的高精圖像信息提取方法，其特征在于，所述球諧損失用于衡量預(yù)測(cè)的球諧系數(shù)和真實(shí)值之間的數(shù)值誤差，利用前4階的球諧系數(shù)的平均均方差損失進(jìn)行定義。

7.根據(jù)權(quán)利要求4所述的一種基于低動(dòng)態(tài)范圍的高精圖像信息提取方法，其特征在于，

基于漫反射貼圖的生成過程，提出將真實(shí)球諧系數(shù)與預(yù)測(cè)球諧系數(shù)兩者還原生成的漫反射貼圖之間的均方差作為網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)，將需要還原生成的漫反射貼圖的大小設(shè)置為16×32，漫反射貼圖損失函數(shù)如下公式所示：