[發(fā)明專(zhuān)利]一種基于RAW圖像的反光圖像合成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110043430.1
• 申請(qǐng)日: 2021-01-13
• 公開(kāi)（公告）號(hào): CN112884684B
• 公開(kāi)（公告）日: 2022-07-22
• 發(fā)明（設(shè)計(jì)）人: 喻雷;萬(wàn)思琦;楊國(guó)強(qiáng);劉帥成
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): G06T5/50
• 分類(lèi)號(hào): G06T5/50;G06T5/00;G06T3/40;G06V10/75;G06K9/62
• 代理公司: 成都正德明志知識(shí)產(chǎn)權(quán)代理有限公司 51360
• 代理人: 張小娟

本發(fā)明公開(kāi)了一種基于RAW圖像的反光圖像合成方法。該方法包括拍攝背景RAW圖像和反射RAW圖像；對(duì)背景RAW圖像和反射RAW圖像進(jìn)行數(shù)據(jù)預(yù)處理，得到匹配圖像對(duì)；基于匹配圖像對(duì)進(jìn)行圖像合成，得到合成反光RAW圖像；將合成反光RAW圖像轉(zhuǎn)換為RGB圖像。本發(fā)明為了解決現(xiàn)有技術(shù)中合成的反光圖像與實(shí)際圖像差別較大，以及無(wú)法有效模擬真實(shí)情況下的反光圖像導(dǎo)致的訓(xùn)練的去反光網(wǎng)絡(luò)模型在真實(shí)情況下泛化效果非常差的問(wèn)題，提供了一種基于RAW圖像的線性和無(wú)損性特點(diǎn)使用RAW圖像來(lái)合成反光圖像的方法，能更好的模擬真實(shí)反光情況。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種基于RAW圖像的反光圖像合成方法。

背景技術(shù)

反光圖像合成與圖像去反光任務(wù)是密切相關(guān)的，圖像的去反光是將原始的輸入圖像分解為背景圖像和反光圖像，所得到的背景圖像即為去反光之后的圖像。對(duì)于目前主流的基于深度學(xué)習(xí)的去反光方案，需要大量的成對(duì)的反光圖像用于網(wǎng)絡(luò)模型的訓(xùn)練。而實(shí)際中，由于需要保證反光圖像、背景圖像、反射圖像三者之間空間位置精確對(duì)齊，因此實(shí)際拍攝大批量數(shù)據(jù)非常困難。

為了解決拍攝反光圖像數(shù)據(jù)困難的問(wèn)題，目前學(xué)術(shù)界通常采用的做法是使用合成的反光圖像對(duì)來(lái)訓(xùn)練網(wǎng)絡(luò)模型，合成方法普遍采用兩張RGB圖像，一張做背景圖像，一張做反射圖像，給定不同權(quán)重以線性疊加的方式合成。為了使合成反光圖像更逼真，會(huì)進(jìn)行一些先驗(yàn)假設(shè)，如反射圖像比背景圖像更模糊(實(shí)際中通過(guò)將反射圖像進(jìn)行高斯模糊實(shí)現(xiàn))或者反射圖像存在鬼影現(xiàn)象(Ghosting Effect)等，對(duì)原始圖像進(jìn)行初步處理后作為反射圖像，然后再與背景圖像加權(quán)線性疊加。而這種方法存在如下幾點(diǎn)問(wèn)題：(1)RGB圖像是原始RAW圖像經(jīng)過(guò)白平衡、去馬賽克、去噪、銳化、顏色空間轉(zhuǎn)換、伽馬校正等操作之后的結(jié)果，已經(jīng)喪失了線性特征，此時(shí)背景圖像與反射圖像的線性疊加與實(shí)際反光成像過(guò)程相去甚遠(yuǎn)，合成的反光圖像與實(shí)際圖像差別較大；(2)反射圖像更模糊或者鬼影等假設(shè)過(guò)于特殊化，實(shí)際中的反射類(lèi)型遠(yuǎn)比這些假設(shè)復(fù)雜，因此根據(jù)這些假設(shè)合成的圖像與實(shí)際情況差異較大。以上兩點(diǎn)均嚴(yán)重影響了合成去反光圖像質(zhì)量，無(wú)法有效模擬真實(shí)情況下的反光圖像，也連鎖的導(dǎo)致基于此數(shù)據(jù)訓(xùn)練的去反光網(wǎng)絡(luò)模型在真實(shí)情況下泛化效果非常差。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供了一種基于RAW圖像的反光圖像合成方法。

為了達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：

一種基于RAW圖像的反光圖像合成方法，包括以下步驟：

S1、拍攝背景RAW圖像和反射RAW圖像；

S2、對(duì)步驟S1拍攝的背景RAW圖像和反射RAW圖像進(jìn)行數(shù)據(jù)預(yù)處理，得到匹配圖像對(duì)；

S3、基于步驟S2得到的匹配圖像對(duì)進(jìn)行圖像合成，得到合成反光RAW圖像；

S4、將步驟S3得到的合成反光RAW圖像轉(zhuǎn)換為RGB圖像。

本發(fā)明具有以下有益效果：通過(guò)將背景圖和反射圖進(jìn)行各種組合，可以使用相對(duì)較少的原始圖像合成出大量不同的帶反光圖像，極大提高了合成圖像的場(chǎng)景豐富度,也降低了合成大批量數(shù)據(jù)的難度，合成時(shí)兩張圖像均采用RAW圖像，RAW圖像具有線性特性和無(wú)損性特點(diǎn)，采用線性方法合成時(shí)，更貼近實(shí)際的反光成像過(guò)程，合成圖像能更好的模擬真實(shí)情況。

優(yōu)選地，步驟S1中拍攝反射RAW圖像時(shí)在玻璃后面蒙上吸光黑布，鏡頭對(duì)著玻璃，拍攝玻璃上的純反射圖像。

該優(yōu)選方案具有以下有益效果：拍攝反射RAW圖像時(shí)，不是在普通圖像上通過(guò)高斯模糊等處理得到的，而是采用實(shí)拍的方法，拍攝時(shí)將玻璃背面蒙上吸光黑布，避免透射光，從而拍攝出真實(shí)的反射圖像用于合成，這種做法避免了需要對(duì)反射圖像進(jìn)行先驗(yàn)假設(shè)的情況，具有更好的魯棒性。

優(yōu)選地，步驟S1中拍攝多個(gè)反射RAW圖像時(shí)換用不同厚度的玻璃和不同的鏡頭--玻璃夾角。