[發(fā)明專利]使用神經(jīng)網(wǎng)絡(luò)的亮點(diǎn)去除

在審

• 申請?zhí)枺?/td>: 201980073062.6
• 申請日: 2019-11-06
• 公開（公告）號: CN113168670A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 凱文·戈登;馬丁·漢弗萊斯;達(dá)西·道格拉;肖易芳
• 申請（專利權(quán)）人: 光譜OPTIX有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T1/40;G06T7/10
• 代理公司: 北京安信方達(dá)知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 劉學(xué)禹;楊明釗

一種用于圖像捕獲的方法包括識別圖像中的亮點(diǎn)。神經(jīng)網(wǎng)絡(luò)用于通過訓(xùn)練的去噪處理來恢復(fù)亮點(diǎn)區(qū)域中的細(xì)節(jié)。對圖像進(jìn)行后處理，以將亮點(diǎn)區(qū)域中恢復(fù)的細(xì)節(jié)的圖像參數(shù)與圖像的另一區(qū)域相匹配。

相關(guān)申請

本申請要求2018年11月7日提交的美國臨時(shí)申請序列號62/756,917的權(quán)益，該專利申請?zhí)卮送ㄟ^引用出于所有目的以其整體并入本文。

技術(shù)領(lǐng)域

本公開涉及用于使用卷積神經(jīng)網(wǎng)絡(luò)從圖像中去除亮點(diǎn)的系統(tǒng)。特別地，描述了一種用于減少擴(kuò)展或點(diǎn)源亮點(diǎn)、反射、透鏡光暈和眩光的方法。

背景

由于來自圖像視野內(nèi)或附近的陽光或其他明亮光源的反射，圖像細(xì)節(jié)可能會減少、對比度可能會降低、圖像可能會模糊、可能會產(chǎn)生大面積重影，并且圖片質(zhì)量可能會受到影響。白天的眩光通常是由于鏡子或玻璃表面的反射，這減少了反射對象附近的細(xì)節(jié)。夜間攝影特別容易受到路燈或其他點(diǎn)光源周圍眩光的影響，甚至人像攝影也會受到眼鏡或衣服反光的影響。由自主或半自主交通工具拍攝的連續(xù)圖像或視頻圖像也會受到影響，迎面而來的交通工具的前照燈或標(biāo)志的反射會導(dǎo)致細(xì)節(jié)“消失在眩光中”。

已經(jīng)應(yīng)用了各種計(jì)算機(jī)處理技術(shù)來減少圖像中的眩光。例如，與標(biāo)準(zhǔn)數(shù)字成像或攝像技術(shù)相比，高動態(tài)范圍(HDR)成像可用于再現(xiàn)更大的動態(tài)亮度范圍。該技術(shù)通常合并多個(gè)低動態(tài)范圍圖像，每個(gè)圖像具有不同的曝光時(shí)間，這具有減少由長曝光時(shí)間引起的光飽和亮點(diǎn)的效果。

還進(jìn)行了其他嘗試，以使用后處理來改善含有眩光的圖像。例如，轉(zhuǎn)讓給惠普公司的美國專利公開20050129324描述了對圖像的一部分進(jìn)行修復(fù)，該圖像部分地或全部地被數(shù)碼相機(jī)捕獲的圖像中的眩光或另一光學(xué)偽影遮擋或以其他方式變得不理想。根據(jù)所描述的實(shí)施例，包含偽影的場景的有缺陷部分被去除，并且被場景的相應(yīng)的無缺陷部分(即，沒有偽影的部分)替換，以創(chuàng)建沒有眩光的期望圖像。

可替代地，可以使用專用傳感器掩模和硬件來減少眩光。例如，轉(zhuǎn)讓給三菱電機(jī)研究公司(Mitsubishi Electric Research)的美國專利7,780,364描述了一種具有透鏡和傳感器的相機(jī)，其中針孔掩模被放置在傳感器附近。掩模將眩光定位在易于識別的像素處，然后可以對這些像素進(jìn)行濾波以產(chǎn)生眩光減少的輸出圖像。

在一些實(shí)施例中，卷積神經(jīng)網(wǎng)絡(luò)可以是成像系統(tǒng)的一部分，以減少眩光。例如，轉(zhuǎn)讓給Seeing Machines有限公司的美國專利公開20180039846描述了一種視覺處理器，該視覺處理器能夠“學(xué)習(xí)”忽略眩光信息，而是聚焦于圖像中無眩光的部分。一種卷積神經(jīng)網(wǎng)絡(luò)，其可能不需要識別所使用的標(biāo)志點(diǎn)，其信息(諸如眼睛睜開的程度)直接來自圖像和離線訓(xùn)練數(shù)據(jù)。

概述

一種用于圖像捕獲的方法包括識別圖像中的亮點(diǎn)。神經(jīng)網(wǎng)絡(luò)被用于通過訓(xùn)練的去噪處理來恢復(fù)亮點(diǎn)區(qū)域中的細(xì)節(jié)。亮點(diǎn)可以是由于圖像中的亮源眩光(bright sourceglare)、亮源反射(bright source reflections)和光學(xué)偽影(optical artifacts)中的至少一種而產(chǎn)生的。對圖像進(jìn)行后處理，以將亮點(diǎn)區(qū)域中恢復(fù)的細(xì)節(jié)的圖像參數(shù)與圖像的另一區(qū)域相匹配。可以使用具有接受任何尺寸的輸入圖像的能力的全卷積神經(jīng)網(wǎng)絡(luò)。

在一個(gè)實(shí)施例中，一種用于圖像捕獲的方法包括接收傳感器特定的配置文件數(shù)據(jù)(sensor specific profiling data)。在圖像中識別由于亮源眩光、亮源反射和光學(xué)偽影中的至少一種而產(chǎn)生的亮點(diǎn)。使用基于神經(jīng)網(wǎng)絡(luò)的去噪和傳感器特定的配置文件數(shù)據(jù)來恢復(fù)亮點(diǎn)區(qū)域中的細(xì)節(jié)。

在一些實(shí)施例中，圖像分割(image segmentation)可用于減小需要基于神經(jīng)網(wǎng)絡(luò)的去噪圖像的圖像尺寸。在其他實(shí)施例中，恢復(fù)的細(xì)節(jié)的參數(shù)與亮點(diǎn)區(qū)域的局部區(qū)域匹配或者與整個(gè)圖像匹配。

應(yīng)用包括靜態(tài)圖像、產(chǎn)品攝影、人像攝影或交通工具相關(guān)成像。圖像可以是HDR圖像或視頻圖像。