[發(fā)明專利]過曝光圖像修復(fù)方法、修復(fù)系統(tǒng)、數(shù)字相機(jī)、介質(zhì)及應(yīng)用

有效

• 申請(qǐng)?zhí)枺?/td>: 202011335559.1
• 申請(qǐng)日: 2020-11-25
• 公開（公告）號(hào): CN112651887B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 曹宇輝;李楠楠;李革
• 申請(qǐng)（專利權(quán)）人: 深圳龍崗智能視聽研究院
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/90;G06N3/084;G06N3/0464
• 代理公司: 北京京萬通知識(shí)產(chǎn)權(quán)代理有限公司 11440
• 代理人: 萬學(xué)堂;魏振華

1.一種基于圖像曝光和場(chǎng)景信息解耦合的過曝光圖像修復(fù)方法，其特征在于，所述基于圖像曝光和場(chǎng)景信息解耦合的過曝光圖像修復(fù)方法包括：

將圖像的曝光信息和與曝光無關(guān)的場(chǎng)景信息進(jìn)行解耦合，構(gòu)建并訓(xùn)練解耦合深度神經(jīng)網(wǎng)絡(luò)分離圖像中的曝光信息與曝光無關(guān)的場(chǎng)景信息；

構(gòu)建修復(fù)用的生成網(wǎng)絡(luò)，并利用預(yù)訓(xùn)練好的解耦合深度神經(jīng)網(wǎng)絡(luò)生成損失函數(shù)，使所述生成網(wǎng)絡(luò)學(xué)習(xí)生成擁有完備的與曝光無關(guān)的場(chǎng)景信息的結(jié)果；

利用所述解耦合深度神經(jīng)網(wǎng)絡(luò)的場(chǎng)景信息提取分支，在訓(xùn)練階段將修復(fù)的結(jié)果圖像和對(duì)應(yīng)的參考圖像分別作為場(chǎng)景信息提取分支網(wǎng)絡(luò)的輸入并針對(duì)輸出計(jì)算重構(gòu)場(chǎng)景信息的損失函數(shù)，使所述生成網(wǎng)絡(luò)生成擁有完備場(chǎng)景信息的結(jié)果；

所述解耦合包括：

將相同場(chǎng)景下?lián)碛胁煌毓獾膱D片作為網(wǎng)絡(luò)的輸入，約束場(chǎng)景信息分支輸出相同，選取其中一個(gè)的場(chǎng)景信息輸出與其他不同曝光圖片的曝光信息輸出進(jìn)行混合；最終利用不同的混合信息生成重構(gòu)的擁有完備場(chǎng)景信息的不同曝光的結(jié)果圖像，并在訓(xùn)練階段針對(duì)場(chǎng)景信息和重構(gòu)結(jié)果圖像加入一致性約束和重構(gòu)的損失函數(shù)，實(shí)現(xiàn)解耦合；

所述解耦合進(jìn)一步包括：

網(wǎng)絡(luò)包含兩個(gè)信息提取分支Es和Ee分別用于提取圖像的曝光信息特征和場(chǎng)景信息特征，AdaIN為歸一化網(wǎng)絡(luò)層用于信息特征的混合，D是生成分支用于生成重構(gòu)的結(jié)果；x1、x2、x3為擁有相同完備場(chǎng)景信息的3張不同曝光的圖片，作為網(wǎng)絡(luò)的輸入，輸入圖片的數(shù)量并不固定；選取3作為示范，分別經(jīng)過Es和Ee提取到對(duì)應(yīng)信息特征Feature?maps，分別為s1、s2、s3和e1、e2、e3，因?yàn)橥粓?chǎng)景完備的場(chǎng)景信息相同，對(duì)不同的s1、s2、s3計(jì)算Identityconstraint的損失函數(shù)：

；

其中，為s1、s2、s3的均值，約束s1、s2、s3一致；

對(duì)其中一個(gè)場(chǎng)景信息特征，分別用不同的曝光信息特征e1、e2、e3混合再通過D生成對(duì)應(yīng)的擁有相同完備場(chǎng)景信息的不同曝光結(jié)果y1、y2、y3，加入重構(gòu)的損失函數(shù)使Es、Ee提取到有效性信息：

；

同時(shí)獲取解耦合圖像曝光信息和場(chǎng)景信息的網(wǎng)絡(luò)Es和Ee。

2.如權(quán)利要求1所述的基于圖像曝光和場(chǎng)景信息解耦合的過曝光圖像修復(fù)方法，其特征在于，所述損失函數(shù)的生成方法，包括：

（1）利用提取與圖像曝光無關(guān)的場(chǎng)景信息的網(wǎng)絡(luò)完成過曝光圖像的修復(fù)，?G為本階段的生成網(wǎng)絡(luò)，x為過曝光的圖像作為G的輸入得到輸出，y為對(duì)應(yīng)的Ground-truth參考圖像，然后將y和作為上一階段獲取到的場(chǎng)景信息特征提取網(wǎng)絡(luò)Es的輸入，并計(jì)算輸出之間的Manhattan?distance作為重構(gòu)場(chǎng)景信息的損失函數(shù)；按照如下公式對(duì)修復(fù)的結(jié)果計(jì)算場(chǎng)景信息的損失函數(shù)：

；

（2）再利用VGG網(wǎng)絡(luò)和對(duì)抗生成網(wǎng)絡(luò)計(jì)算對(duì)應(yīng)的Lstyle損失函數(shù)和Ladv損失函數(shù)，通過反向傳播迭代更新G的參數(shù)，使G專注于恢復(fù)丟失的信息；

（3）利用提取與圖像曝光無關(guān)的場(chǎng)景信息的網(wǎng)絡(luò)直接對(duì)輸入x恢復(fù)場(chǎng)景信息：

；

其中，R為在場(chǎng)景信息層面進(jìn)行修復(fù)的修復(fù)網(wǎng)絡(luò)。

3.一種基于圖像曝光和場(chǎng)景信息解耦合的過曝光圖像修復(fù)系統(tǒng)，其特征在于，所述基于圖像曝光和場(chǎng)景信息解耦合的過曝光圖像修復(fù)系統(tǒng)包括：

深度神經(jīng)網(wǎng)絡(luò)構(gòu)建模塊，用于利用同一場(chǎng)景不同曝光的圖像場(chǎng)景信息一致的特點(diǎn)來訓(xùn)練并生成能夠提取圖像與曝光無關(guān)的場(chǎng)景信息的深度神經(jīng)網(wǎng)絡(luò)；

網(wǎng)絡(luò)輸入模塊，用于將相同場(chǎng)景下?lián)碛胁煌毓獾膱D片作為網(wǎng)絡(luò)的輸入，約束場(chǎng)景信息分支輸出相同，選取其中一個(gè)的場(chǎng)景信息輸出與其他不同曝光圖片的曝光信息輸出進(jìn)行混合；

結(jié)果圖像生成模塊，用于利用不同的混合信息生成重構(gòu)的擁有完備場(chǎng)景信息的不同曝光的結(jié)果圖像；

解耦合模塊，用于將圖像的曝光信息和與曝光無關(guān)的場(chǎng)景信息進(jìn)行解耦合，利用構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)分離圖像中的曝光信息與曝光無關(guān)的場(chǎng)景信息；

損失函數(shù)生成模塊，用于利用之前預(yù)訓(xùn)練好的解耦合網(wǎng)絡(luò)生成損失函數(shù)，使生成網(wǎng)絡(luò)學(xué)習(xí)生成擁有完備的與曝光無關(guān)的場(chǎng)景信息的結(jié)果；

過曝光圖像修復(fù)模塊，用于構(gòu)建另一修復(fù)用生成網(wǎng)絡(luò)，利用能夠提取圖像場(chǎng)景信息的網(wǎng)絡(luò)來訓(xùn)練修復(fù)網(wǎng)絡(luò)完成過曝光圖像的修復(fù)；

該系統(tǒng)用于實(shí)現(xiàn)根據(jù)權(quán)利要求1~2所述的基于圖像曝光和場(chǎng)景信息解耦合的過曝光圖像修復(fù)方法。