[發(fā)明專(zhuān)利]圖像處理裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201780092720.7
• 申請(qǐng)日: 2017-06-28
• 公開(kāi)（公告）號(hào): CN110832541B
• 公開(kāi)（公告）日: 2022-10-04
• 發(fā)明（設(shè)計(jì)）人: 法赫德·布扎拉;奧納伊·優(yōu)厄法利歐格路;伊布拉希姆·哈法奧
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06T5/50
• 分類(lèi)號(hào): G06T5/50
• 代理公司: 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 44202
• 代理人: 張?jiān)骆?/td>

本發(fā)明涉及一種圖像處理裝置(300)，用于根據(jù)包括第一LDR圖像和第二LDR圖像在內(nèi)的多個(gè)LDR圖像生成與第一視圖相關(guān)的HDR圖像，其中，所述第一LDR圖像與所述第一視圖和第一曝光，即第一動(dòng)態(tài)范圍相關(guān)，所述第二LDR圖像與第二視圖和第二曝光，即第二動(dòng)態(tài)范圍相關(guān)。所述圖像處理裝置(300)包括處理單元(301)，用于提供神經(jīng)網(wǎng)絡(luò)，其中所述神經(jīng)網(wǎng)絡(luò)包括多個(gè)神經(jīng)子網(wǎng)絡(luò)，其中包含第一神經(jīng)子網(wǎng)絡(luò)(303)，所述第一神經(jīng)子網(wǎng)絡(luò)(303)用于根據(jù)以下內(nèi)容生成所述HDR圖像：(i)所述第一LDR圖像，(ii)所述第二LDR圖像，以及(iii)修改的第一LDR圖像，其中所述修改的第一LDR圖像與所述第一視圖和所述第二曝光相關(guān)。此外，本發(fā)明涉及一種對(duì)應(yīng)的圖像處理方法。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域。更具體地，本發(fā)明涉及一種用于根據(jù)多個(gè)低動(dòng)態(tài)范圍(low dynamic range，LDR)圖像，使用基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)來(lái)生成高動(dòng)態(tài)范圍(high dynamic range，HDR)圖像的圖像處理裝置和方法。

背景技術(shù)

創(chuàng)建場(chǎng)景的高動(dòng)態(tài)范圍(high dynamic range，HDR)圖像的一種常見(jiàn)方法是將在不同照度(曝光)設(shè)置下捕獲的若干個(gè)低動(dòng)態(tài)范圍(low dynamic range，LDR)圖像合并，從而涵蓋從曝光不足(暗)到過(guò)度曝光(亮)的范圍。這種技術(shù)被稱(chēng)為包圍曝光，其假設(shè)輸入LDR圖像都是對(duì)準(zhǔn)的。但是，這一假設(shè)很少成立，因?yàn)檩斎雸D像是按時(shí)間順序捕獲的。由于相機(jī)或場(chǎng)景相關(guān)的運(yùn)動(dòng)導(dǎo)致的位置不準(zhǔn)會(huì)在最終的HDR圖像中產(chǎn)生可見(jiàn)的偽影，其中可以看到同一對(duì)象的多個(gè)實(shí)例。這些偽影被稱(chēng)為“重影效應(yīng)”。

計(jì)算機(jī)視覺(jué)領(lǐng)域已經(jīng)對(duì)動(dòng)態(tài)場(chǎng)景的無(wú)偽影HDR圖像渲染進(jìn)行了深入的研究。有幾種方法聲稱(chēng)可以成功地處理位置不準(zhǔn)和相關(guān)的不一致性，因此最終的HDR沒(méi)有重影且不模糊。這些方法通常分為兩大類(lèi)：

第一類(lèi)屬于去重影方法的范圍。這些方法背后的想法是，與從輸入堆棧中選擇的參考LDR圖像進(jìn)行對(duì)比，檢測(cè)動(dòng)態(tài)像素上的不一致性。這些方法通常假設(shè)相機(jī)是靜止的，更確切地說(shuō)，提出一個(gè)全局配準(zhǔn)步驟來(lái)補(bǔ)償位置不準(zhǔn)。當(dāng)相機(jī)運(yùn)動(dòng)(平動(dòng)和轉(zhuǎn)動(dòng))時(shí)，參考圖像和非參考圖像中所描繪的場(chǎng)景的背景會(huì)有所不同。為了將參考圖像與非參考圖像對(duì)準(zhǔn)，提出了復(fù)雜度低的全局運(yùn)動(dòng)配準(zhǔn)步驟。一般而言，該步驟基于：使用參考圖像與非參考圖像之間的匹配特征點(diǎn)來(lái)計(jì)算“單應(yīng)性”矩陣H。為此，可以使用SURF/SIFT或類(lèi)似的方法來(lái)檢測(cè)和提取參考和非參考圖像對(duì)之間的特征點(diǎn)。可以使用多種特征匹配方法，例如RANSAC。基于該單應(yīng)性矩陣，非參考圖像被扭曲回參考圖像的視圖。該步驟使對(duì)象運(yùn)動(dòng)的檢測(cè)更加簡(jiǎn)單。

一般而言，合并過(guò)程使最終的HDR圖像中不存在動(dòng)態(tài)區(qū)域和不一致性。圖1示出了總結(jié)傳統(tǒng)去重影方法100中最相關(guān)的步驟的示意圖示。

去重影方法是在啟用算法的計(jì)算成本需較低的場(chǎng)景下選擇的方法。但是，具有較大曝光度和場(chǎng)景差異的場(chǎng)景對(duì)于這些方法而言可能具有挑戰(zhàn)性。在非剛性運(yùn)動(dòng)或視角差異較大的情況下，與參考LDR圖像對(duì)比，仍然可以看到與運(yùn)動(dòng)相關(guān)的偽影。

第二類(lèi)包括依賴(lài)于匹配(稀疏或密集)來(lái)對(duì)準(zhǔn)圖像的方法。在該上下文中，對(duì)準(zhǔn)可以是空間性的，其中將非參考LDR圖像扭曲到所選參考圖像的視圖，也可以是通過(guò)將參考LDR圖像按顏色分別與每個(gè)非參考LDR圖像對(duì)準(zhǔn)而與顏色相關(guān)(顏色映射)。這兩種情況下的目標(biāo)都是重新生成與參考視圖對(duì)應(yīng)的一組對(duì)準(zhǔn)但曝光不同的LDR圖像。