[發(fā)明專利]生成基于機(jī)器學(xué)習(xí)的成像算法的圖像數(shù)據(jù)的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201980079133.3
• 申請(qǐng)日: 2019-01-30
• 公開(kāi)（公告）號(hào): CN113170028B
• 公開(kāi)（公告）日: 2023-06-20
• 發(fā)明（設(shè)計(jì)）人: 薩穆·科斯基寧
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): H04N1/60
• 分類號(hào): H04N1/60
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李欣

公開(kāi)了一種方法和系統(tǒng)，用于將從線上圖像源下載的任意RGB圖像轉(zhuǎn)換為光譜圖像，并借助于攝像頭表征數(shù)據(jù)進(jìn)一步處理所述光譜圖像成為輸入和地面真值圖像對(duì)，以便用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)以執(zhí)行圖像處理任務(wù)，例如自動(dòng)白平衡(Auto?White?Balance，AWB)或顏色陰影校正(Color?Shading?Correction，CSC)。

技術(shù)領(lǐng)域

本公開(kāi)涉及圖像信號(hào)處理，尤其涉及一種用于將任意RGB圖像轉(zhuǎn)換成光譜圖像的方法和系統(tǒng)，所述光譜圖像可被進(jìn)一步處理為用于深度學(xué)習(xí)算法訓(xùn)練的原始RGB圖像。

背景技術(shù)

攝像頭芯片制造商的最終目標(biāo)是制造傳感器S，以捕獲由光源l光照的場(chǎng)景R的圖像I，從而提供完美的圖像質(zhì)量。對(duì)于手機(jī)攝像頭芯片制造商而言，因?yàn)樽詈玫氖謾C(jī)攝像頭和高端DSLR攝像頭之間仍存在質(zhì)量差距，所以該目標(biāo)能以更加適當(dāng)和實(shí)用的方式定義為：提供與高質(zhì)量DSLR攝像頭匹配的質(zhì)量圖像。僅通過(guò)傳感器硬件不容易實(shí)現(xiàn)該目標(biāo)，但是傳感器圖像(原始RGB圖像)必須由制造商限定的圖像信號(hào)處理器(Image?Signal?Processor，ISP)管道進(jìn)行后處理，該管道包括例如降噪、鏡頭陰影校正、白平衡(色彩恒常性)校正和拜耳去馬賽克等各種算法。由于深度學(xué)習(xí)的引入，研究所有這些算法是否可以被端到端可學(xué)習(xí)的深度圖像到圖像傳輸架構(gòu)取代就變得十分重要。

為了訓(xùn)練這些深度架構(gòu)，需要一大組圖像對(duì)，其中各圖像對(duì)包括由攝像頭傳感器S捕獲的原始RGB圖像和由表示地面真值S^GT的高端傳感器捕獲的高質(zhì)量(理想)圖像。

這種方法面臨的挑戰(zhàn)是需要費(fèi)力收集大型數(shù)據(jù)集，并且在對(duì)準(zhǔn)由攝像頭傳感器S和表示地面真值S^GT的高端傳感器捕獲的圖像時(shí)存在誤差。例如，在自動(dòng)白平衡(Auto?WhiteBalance，AWB)校正的情況下，訓(xùn)練圖像對(duì)的生成成為可能但是非常耗時(shí)，因?yàn)檫@將需要在要捕獲的每個(gè)場(chǎng)景中物理定位白色參照物。在其它情況下，例如顏色陰影校正(ColorShading?Correction，CSC)，甚至不可能手動(dòng)生成訓(xùn)練圖像對(duì)。

在過(guò)去，數(shù)據(jù)增強(qiáng)已被用于許多基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)應(yīng)用。這些應(yīng)用包括圖像轉(zhuǎn)換、風(fēng)格遷移和生成對(duì)抗網(wǎng)絡(luò)。然而，這些方法通常不適用于ISP相關(guān)算法的學(xué)習(xí)，因?yàn)檫@些方法需要更精確的轉(zhuǎn)換才能用于學(xué)習(xí)。

為了解決ISP相關(guān)算法的問(wèn)題，RGB到光譜圖像轉(zhuǎn)換(RGB到SPEC)是生成由近似傳感器觀察到的原始RGB圖像的必要步驟。然而，現(xiàn)有的RGB到SPEC轉(zhuǎn)換方法假定設(shè)備(顯示器或攝像頭設(shè)備)的光譜表征是可用的，因此對(duì)于不存在捕獲設(shè)備詳細(xì)信息(例如，輸入圖像從互聯(lián)網(wǎng)下載)的情況則未提供解決方案。

其它方法包括也可用于反向處理網(wǎng)絡(luò)圖像的攝像頭處理模型，但不考慮光譜反射比，也不考慮完全未知的攝像頭配置文件。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種改進(jìn)的圖像信號(hào)處理方法，以克服或至少減少上述問(wèn)題。

通過(guò)上述提出的方法將任意圖像I_WEB轉(zhuǎn)換為在任意光照l(shuí)下的捕獲場(chǎng)景反射比R的光譜地面真值圖像數(shù)據(jù)I_SPEC來(lái)實(shí)現(xiàn)該目的。然后，將所述光譜圖像數(shù)據(jù)I_SPEC前向轉(zhuǎn)換為已知傳感器S的原始RGB圖像數(shù)據(jù)I_RAW。所述生成的圖像I_RAW之后可用于訓(xùn)練自動(dòng)白平衡(AutoWhite?Balance，AWB)和顏色陰影校正(Color?Shading?Correction，CSC)等ISP算法的深度模型。

上述及其它目的通過(guò)獨(dú)立權(quán)利要求的特征來(lái)實(shí)現(xiàn)。進(jìn)一步的實(shí)現(xiàn)方式在從屬權(quán)利要求、具體說(shuō)明和附圖中顯而易見(jiàn)。

第一方面，提供了一種用于處理圖像數(shù)據(jù)的方法，該方法包括以下步驟：

在存儲(chǔ)器中存儲(chǔ)表示圖像的圖像數(shù)據(jù)I_WEB，其中所述圖像數(shù)據(jù)I_WEB為RGB格式；