[發(fā)明專利]高動態(tài)范圍成像方法和裝置

有效

• 申請?zhí)枺?/td>: 202010513374.9
• 申請日: 2020-06-08
• 公開（公告）號: CN111669514B
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計）人: 施柏鑫;黃鐵軍;許超;韓金;段沛奇;周矗
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: H04N5/235
• 分類號: H04N5/235;H04N5/232;G06N3/04;G06N3/08
• 代理公司: 北京挺立專利事務(wù)所(普通合伙) 11265
• 代理人: 高福勇

本公開提供了高動態(tài)范圍成像方法，對包含神經(jīng)形態(tài)相機(jī)與普通相機(jī)的混合相機(jī)系統(tǒng)進(jìn)行搭建；通過搭建完成的所述混合相機(jī)系統(tǒng)中的普通相機(jī)拍攝的低動態(tài)范圍圖像與神經(jīng)形態(tài)相機(jī)拍攝并重建的高動態(tài)范圍灰度圖輸入至訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中完成融合成像操作。該方法通過單張LDR圖像融合神經(jīng)形態(tài)相機(jī)的輸出使高動態(tài)范圍成像的質(zhì)量大大超越單張LDR圖像的重建效果；使用深度學(xué)習(xí)的方法，針對LDR圖像和HDR灰度圖在每一個方面的差異單獨(dú)設(shè)計網(wǎng)絡(luò)模塊，相比于非深度學(xué)習(xí)的融合方法，有效提高了融合圖像的質(zhì)量；減少輸入LDR圖像數(shù)目，減小了數(shù)據(jù)獲取的難度，不會造成模糊和虛影等問題，擴(kuò)大了算法的應(yīng)用范圍。本公開還提出高動態(tài)范圍成像裝置。

技術(shù)領(lǐng)域

本公開涉及計算機(jī)技術(shù)領(lǐng)域，具體而言，涉及高動態(tài)范圍成像方法和裝置。

背景技術(shù)

隨著計算機(jī)技術(shù)發(fā)展，計算機(jī)算力逐漸加強(qiáng)，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)技術(shù)快速進(jìn)步，計算機(jī)視覺相關(guān)技術(shù)逐漸應(yīng)用到各個場景，例如手機(jī)相機(jī)的人臉檢測、修圖美圖、夜間拍照等功能，無人駕駛中的行人檢測、道路識別，移動支付與車站身份檢測的人臉識別，或是機(jī)器人的同步定位與建圖任務(wù)等。隨著大數(shù)據(jù)、智能化時代的來臨，越來越多的應(yīng)用場景需要計算視覺技術(shù)的支持，海量的視頻、圖像數(shù)據(jù)亟待處理，更凸顯底層視覺任務(wù)的重要意義。由此，底層圖像處理技術(shù)的不可替代性及其對于更高語義層次任務(wù)的重要意義，受到社會廣泛關(guān)注。高動態(tài)范圍成像，作為計算攝像學(xué)的基礎(chǔ)任務(wù)，其發(fā)展對于其他計算機(jī)視覺技術(shù)來說極其重要。

人類的眼睛能夠看到的動態(tài)范圍大概在10000：1的范圍，但是普通相機(jī)的動態(tài)范圍只能達(dá)到1000：1。因此拍攝單張照片所能覆蓋的動態(tài)范圍是極其有限的，為了使亮度高的信息得到正確曝光，采用過短的曝光時間會使得場景中亮度低的部分變得黑暗且產(chǎn)生噪聲，反之，為了使亮度低的信息得到正確曝光，采用過長的曝光時間則會導(dǎo)致場景中亮度高的部分過曝而丟失細(xì)節(jié)。對于無論是手機(jī)用戶還是數(shù)碼相機(jī)用戶，拍攝出過曝或欠曝的照片都會令拍照體驗大打折扣，對于高層計算機(jī)視覺任務(wù)來說，LDR的圖像會使得特征識別準(zhǔn)確率下降，使得系統(tǒng)無法正常工作。因此，高動態(tài)范圍成像的有效性以及穩(wěn)定性將直接影響高層計算機(jī)視覺任務(wù)的效率。

經(jīng)典的高動態(tài)范圍成像主要通過拍攝一組不同曝光時長的圖像，來估計出CRF(Camera Response Function，相機(jī)響應(yīng)函數(shù))曲線，將像素值轉(zhuǎn)換到線性空間，再通過賦予不同照片以不同的權(quán)重，加權(quán)計算得到每個像素點(diǎn)的輻照度值，從而得到一張HDR的圖像，通過色調(diào)映射可以將高動態(tài)范圍圖像映射為8bit RGB圖像用于顯示。隨著深度學(xué)習(xí)方法的發(fā)展，利用神經(jīng)網(wǎng)絡(luò)對隱式數(shù)據(jù)分布全面的建模能力來解決底層視覺問題逐漸成為近幾年的主流方法，一系列設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)的逆色調(diào)映射高動態(tài)范圍成像方法應(yīng)運(yùn)而生。這些方法大多利用單張LDR圖像經(jīng)過訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)來預(yù)測過曝或欠曝區(qū)域的信息，以得到HDR圖像。相對于合成不同曝光時長的一組圖像的傳統(tǒng)方法，逆色調(diào)映射深度學(xué)習(xí)方法只需單張LDR的輸入，從而避免了拍攝多張LDR圖像過程中復(fù)雜的拍攝技巧和虛影的產(chǎn)生，且在性能上較傳統(tǒng)的優(yōu)化類逆色調(diào)映射方法表現(xiàn)出明顯的優(yōu)勢，但由于沒有額外的信息，會造成對過曝或欠曝區(qū)域的預(yù)測不準(zhǔn)確，且深度學(xué)習(xí)方法對訓(xùn)練數(shù)據(jù)的依賴性使其在未被訓(xùn)練數(shù)據(jù)集包含的場景中測試時性能不夠穩(wěn)定。

不同于普通相機(jī)，神經(jīng)形態(tài)相機(jī)具有捕捉HDR場景信息的能力，能夠得到一張包含HDR信息的低分辨率灰度圖。利用神經(jīng)形態(tài)相機(jī)的這個特性，將神經(jīng)形態(tài)相機(jī)輸出的灰度圖與普通相機(jī)拍攝的高分辨率彩色照片進(jìn)行融合，可以得到包含HDR信息的高分辨率彩色圖像。現(xiàn)有技術(shù)中，通常采用首先控制相機(jī)電子快門拍攝一組不同曝光時長的照片，利用這一組LDR圖像計算出拍攝相機(jī)的響應(yīng)函數(shù)曲線，再將每張LDR圖像的像素值根據(jù)CRF曲線轉(zhuǎn)換到線性空間，賦予每張LDR圖像以不同的權(quán)重，加權(quán)計算得到每個像素點(diǎn)的輻照度值，即可得到一張HDR圖像。此外，如圖1所示，現(xiàn)有技術(shù)中，還會應(yīng)用深度學(xué)習(xí)的方法，將單張LDR圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)過曝區(qū)域的細(xì)節(jié)重建，最后合成輸出的重建圖像與輸入LDR圖像來實(shí)現(xiàn)HDR成像。不同于前述現(xiàn)有技術(shù)中需要拍攝多張不同曝光時長的LDR圖像來合成HDR圖像，該技術(shù)只需單張LDR圖像，輸入到神經(jīng)網(wǎng)絡(luò)中預(yù)測過曝區(qū)域的細(xì)節(jié)信息。