[發(fā)明專利]卷積神經(jīng)網(wǎng)絡(luò)生成方法、圖像去馬賽克方法及相關(guān)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910229405.5
• 申請(qǐng)日: 2019-03-25
• 公開(kāi)（公告）號(hào): CN109978788B
• 公開(kāi)（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 劉鍵濤;周凡;張長(zhǎng)定;林奇;李駢臻
• 申請(qǐng)（專利權(quán)）人: 廈門美圖之家科技有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/50;G06N3/04
• 代理公司: 北京思睿峰知識(shí)產(chǎn)權(quán)代理有限公司 11396
• 代理人: 謝建云;張贊

本發(fā)明公開(kāi)了一種用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方法、圖像去馬賽克方法、相關(guān)裝置、計(jì)算設(shè)備及介質(zhì)，該卷積神經(jīng)網(wǎng)絡(luò)生成方法包括：構(gòu)建卷積塊，卷積塊包括第一卷積層；分別構(gòu)建下采樣層、通道分離層、上采樣層和第二卷積層；按照預(yù)設(shè)的連接規(guī)則，將一個(gè)或多個(gè)卷積塊、下采樣層、通道分離層、上采樣層和第二卷積層進(jìn)行相連，以生成卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)以下采樣層和通道分離層為輸入，以第二卷積層為輸出；根據(jù)預(yù)先獲取的圖像數(shù)據(jù)集合，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以便卷積神經(jīng)網(wǎng)絡(luò)的輸出指示輸入圖像去馬賽克后對(duì)應(yīng)的圖像，圖像數(shù)據(jù)集合包括多個(gè)圖像組，每個(gè)圖像組包括原始圖像和其所對(duì)應(yīng)的拜爾域馬賽克圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方法、圖像去馬賽克方法、相關(guān)裝置、計(jì)算設(shè)備及介質(zhì)。

背景技術(shù)

當(dāng)今主流數(shù)碼相機(jī)，由于技術(shù)及成本的制約，通常使用單傳感器方案。單傳感器方案多以拜耳彩色濾波陣列為主，通過(guò)彩色濾波陣列獲取到紅、綠、藍(lán)三種顏色，用以合成彩色數(shù)碼圖像。在彩色濾波陣列的作用下，超過(guò)三分之二的真實(shí)信息被丟失，并且紅、綠、藍(lán)三種顏色在不同空間位置以不同采樣率被采樣，使得數(shù)碼圖像呈現(xiàn)出被噪聲污染的“馬賽克”狀。

“去馬賽克”是數(shù)碼圖像信號(hào)處理流程的第一步，由于“去馬塞克”的結(jié)果將影響到所有后續(xù)數(shù)碼圖像信號(hào)處理流程，所有因“去馬賽克”產(chǎn)生的噪聲或失真將不可避免地向后傳遞和放大，因此“去馬塞克”也是數(shù)碼圖像信號(hào)處理流程中最為關(guān)鍵的“第一步”。現(xiàn)有技術(shù)通常通過(guò)雙線性插值或其他一些傳統(tǒng)算法進(jìn)行“去馬塞克”，效果不盡人意。

盡管對(duì)“去馬塞克”算法的研究從未停止，效果更好的算法也不斷提出，如殘值插值去馬賽克算法、基于頻域的去馬塞克算法、基于小波的去馬塞克算法、基于回歸的去馬賽克算法等。但是，這些仍然屬于人為設(shè)計(jì)的一種信號(hào)處理方式，隨著數(shù)碼圖像獲取設(shè)備的普及和廣泛應(yīng)用，使用場(chǎng)景及拍攝目標(biāo)變得前所未有地不可測(cè)，拍攝結(jié)果的隨機(jī)性和不可預(yù)見(jiàn)性使得人為設(shè)計(jì)處理方式難以應(yīng)對(duì)。

發(fā)明內(nèi)容

為此，本發(fā)明提供一種用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方案，并提出了基于該卷積神經(jīng)網(wǎng)絡(luò)的圖像去馬賽克方案，以力圖解決或者至少緩解上面存在的問(wèn)題。

根據(jù)本發(fā)明的一個(gè)方面，提供一種用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方法，適于在計(jì)算設(shè)備中執(zhí)行，該方法包括如下步驟：首先，構(gòu)建卷積塊，卷積塊包括第一卷積層；分別構(gòu)建下采樣層、通道分離層、上采樣層和第二卷積層；按照預(yù)設(shè)的連接規(guī)則，將一個(gè)或多個(gè)卷積塊、下采樣層、通道分離層、上采樣層和第二卷積層進(jìn)行相連，以生成卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)以下采樣層和通道分離層為輸入，以第二卷積層為輸出；根據(jù)預(yù)先獲取的圖像數(shù)據(jù)集合，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以便卷積神經(jīng)網(wǎng)絡(luò)的輸出指示輸入圖像去馬賽克后對(duì)應(yīng)的圖像，圖像數(shù)據(jù)集合包括多個(gè)圖像組，每個(gè)圖像組包括原始圖像和其所對(duì)應(yīng)的拜爾域馬賽克圖像。

可選地，在根據(jù)本發(fā)明的用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方法中，構(gòu)建卷積塊的步驟還包括：構(gòu)建激活層；在第一卷積層之后添加激活層，以形成卷積塊。

可選地，在根據(jù)本發(fā)明的用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方法中，下采樣層用于按照預(yù)設(shè)的第一通道數(shù)對(duì)輸入圖像進(jìn)行通道分離處理，并對(duì)分離出的第一通道數(shù)張?zhí)卣鲌D進(jìn)行下采樣。

可選地，在根據(jù)本發(fā)明的用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方法中，第一通道數(shù)為4。

可選地，在根據(jù)本發(fā)明的用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方法中，通道分離層用于對(duì)輸入圖像按照預(yù)設(shè)的第二通道數(shù)進(jìn)行通道分離處理，以獲取第二通道數(shù)張?zhí)卣鲌D。

可選地，在根據(jù)本發(fā)明的用于對(duì)圖像進(jìn)行去馬賽克處理的卷積神經(jīng)網(wǎng)絡(luò)生成方法中，第二通道數(shù)為3。