[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的本征圖像分解方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810201866.7
• 申請(qǐng)日: 2018-03-12
• 公開(kāi)（公告）號(hào): CN108416805B
• 公開(kāi)（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 韓廣云;謝曉華;鄭偉詩(shī)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)
• 主分類(lèi)號(hào): G06T7/62
• 分類(lèi)號(hào): G06T7/62
• 代理公司: 廣州粵高專(zhuān)利商標(biāo)代理有限公司 44102
• 代理人: 林麗明

本發(fā)明公開(kāi)一種基于深度學(xué)習(xí)的本征圖像分解方法及裝置，其中該方法包括在若干3D模型中選取3D模型加載入基于物理的渲染器，隨機(jī)設(shè)置光照，任取視角渲染圖片，并通過(guò)渲染器獲取對(duì)應(yīng)的反射成分和光照成分，以此重復(fù)操作，生成大批量的有標(biāo)注本征圖分解的數(shù)據(jù)集；利用所生成的數(shù)據(jù)集將全卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練成本征圖分解網(wǎng)絡(luò)；對(duì)本征圖分解網(wǎng)絡(luò)進(jìn)行應(yīng)用，由預(yù)測(cè)輸出的分解結(jié)果，得到期望輸出的分解目標(biāo)。本發(fā)明提出的本征圖分解方法允許通過(guò)圖形渲染的方式獲取大批量有標(biāo)注數(shù)據(jù)集，通過(guò)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，獲取魯棒性良好的分解模型；通過(guò)應(yīng)用損失網(wǎng)絡(luò)，進(jìn)一步提高泛化性能并且避免了損失函數(shù)的設(shè)計(jì)困難。

技術(shù)領(lǐng)域

本發(fā)明涉及本征圖分解技術(shù)領(lǐng)域，特別涉及一種基于深度學(xué)習(xí)的本征圖像分解方法及裝置。

背景技術(shù)

現(xiàn)有的本征圖分解技術(shù)主要有以下幾類(lèi)：

1)基于先驗(yàn)假設(shè)的數(shù)值優(yōu)化方法[1,2]。此類(lèi)方法依賴于如對(duì)光照、物體表面、深度等一些物理特性或現(xiàn)象的連續(xù)性假設(shè)。例如[1]通過(guò)依賴于直接和間接輻照度的光滑性假設(shè)，構(gòu)造對(duì)應(yīng)的能量函數(shù)和約束，并優(yōu)化最小平方誤差；[2]則通過(guò)高斯混合模型學(xué)習(xí)物體表面幾何和光照先驗(yàn)分布，根據(jù)相應(yīng)的觀察構(gòu)造不同成分對(duì)應(yīng)的損失函數(shù)并加權(quán)做優(yōu)化，以此來(lái)求解對(duì)應(yīng)成分的值達(dá)到分解的目的。

2)基于圖像平滑的方法[3]。根據(jù)經(jīng)驗(yàn)，反射成分常常呈現(xiàn)分片一致，即具有一種平滑現(xiàn)象。其通過(guò)L1正則化實(shí)現(xiàn)圖像的分片平滑變換。平滑后的圖像即可以作為反射成分，而光照成分則可以通過(guò)商圖像(L＝I/R)獲取。

3)基于學(xué)習(xí)的回歸模型方法[4]。當(dāng)有足夠多的數(shù)據(jù)的時(shí)候，基于深度學(xué)習(xí)的方法往往能獲得比手工特征或者啟發(fā)式方法擁有更好魯棒性的結(jié)果。這種方法通過(guò)深度神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)一個(gè)回歸模型，對(duì)于給定圖像，可以直接輸出對(duì)應(yīng)的光照成分和反射成分。

已有的本征圖分解技術(shù)尚存在很多不足。很多數(shù)值優(yōu)化的方法往往需要針對(duì)每個(gè)輸入進(jìn)行冗長(zhǎng)耗時(shí)的優(yōu)化，限制了其在實(shí)時(shí)領(lǐng)域的應(yīng)用。同時(shí)，相應(yīng)的觀察和假設(shè)有其局限性，僅在特定情況下有效。而基于學(xué)習(xí)的方法又受數(shù)據(jù)集標(biāo)注困難的限制，往往很難獲得大量的有密集標(biāo)注的圖片數(shù)據(jù)集。

參考文獻(xiàn)：

[1]Chen Q,Koltun V.A Simple Model for Intrinsic Image Decompositionwith Depth Cues[C].international conference on computer vision,2013:241-248.

[2]Barron J T,Malik J.Shape,Illumination,and Reflectance from Shading[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(8):1670-1687.

[3]Bi S,Han X,Yu Y,et al.An L 1 image transform for edge-preservingsmoothing and scene-level intrinsic decomposition[J].international conferenceon computer graphics and interactive techniques,2015,34(4).

[4]Narihira T,Maire M,Yu S X,et al.Direct Intrinsics:Learning Albedo-Shading Decomposition by Convolutional Regression[J].international conferenceon computer vision,2015:2992-2992.

發(fā)明內(nèi)容

本發(fā)明的主要目的是提出一種基于深度學(xué)習(xí)的本征圖像分解方法，旨在克服以上問(wèn)題。