[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡的單光源場景光照重渲染方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011049667.2
• 申請日: 2020-09-29
• 公開（公告）號: CN112183637A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設計）人: 冷聰;李成華;董麗平;江卓龍;程健
• 申請（專利權）人: 中科方寸知微（南京）科技有限公司;中國科學院自動化研究所南京人工智能芯片創(chuàng)新研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T5/50;G06N3/08;G06N3/04
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 張磊

本發(fā)明提出了一種基于神經(jīng)網(wǎng)絡的單光源場景光照重渲染方法及系統(tǒng)，包括以下步驟：對已有的圖像場景光照數(shù)據(jù)集進行預處理；設計光照信息分類網(wǎng)絡；設計內(nèi)容自重建網(wǎng)絡，為內(nèi)容編碼器單獨構造一個完整的自編碼網(wǎng)絡；構建光照重渲染網(wǎng)絡，光照重渲染網(wǎng)絡由訓練好的光照信息分類編碼器、內(nèi)容編碼器和解碼器組成，解碼器將同時結合內(nèi)容編碼器和光照信息分類編碼器所提供地特征進行圖像特征還原；使用數(shù)據(jù)集對光照重渲染網(wǎng)絡進行訓練。基于該方法能提取處出所需的光照信息，而自重建網(wǎng)絡使得其內(nèi)部的內(nèi)容編碼器可以學習到足夠多的圖像內(nèi)容特征，所以可以將準確的光照信息與圖像信息相結合得到接近真實的效果，從而解決了在場景圖像中的光照重渲染問題。

技術領域

本發(fā)明涉及一種基于神經(jīng)網(wǎng)絡的單光源場景光照重渲染方法及系統(tǒng)，涉及G06T：一般的圖像數(shù)據(jù)處理或產(chǎn)生領域，尤其涉及G06T5/00：圖像的增強或復原領域。

背景技術

在攝影，攝像和藝術作品中，光照都是一個非常重要的環(huán)境條件。不同的光照環(huán)境下的物體會呈現(xiàn)不同的光影效果。而光影對于整幅圖片的視覺展現(xiàn)效果影響十分巨大。擁有專業(yè)的設備的專業(yè)的攝影人員為了達到他們理想中的效果，依然要花費很大時間對他們所需的光照環(huán)境進行調(diào)整。對大眾來說，這樣的專業(yè)水平很難達到，這就限制了大多數(shù)人的攝影體驗和藝術創(chuàng)作?，F(xiàn)有的重光照技術分為場景的重光照和人像的重光照。人像的重光照發(fā)展的較為成熟，并且在攝影設備上已有相關的應用。而場景的重光照近幾年還在探索之中，現(xiàn)有的技術有些需要復雜的三維建模，有些只限于物體表面的光影效果。所以，發(fā)明一種適用性廣，參考全局光影的光照轉(zhuǎn)換技術成為需求。

在現(xiàn)有的技術方案中，基于圖像像素直接轉(zhuǎn)換的方法很難學習到光照信息的變換，而基于人臉的光照重渲染方案所需求的先驗信息較多過程復雜，并且現(xiàn)有的方案中都存在對光照信息分類和陰影的消除都不夠準確。

發(fā)明內(nèi)容

發(fā)明目的：一個目的是提出一種基于神經(jīng)網(wǎng)絡的單光源場景光照重渲染方法，以解決現(xiàn)有技術存在的上述問題。進一步目的是提出一種實現(xiàn)上述方法的系統(tǒng)。

技術方案：一種基于神經(jīng)網(wǎng)絡的單光源場景光照重渲染方法，包括以下步驟：

步驟1、對已有的圖像場景光照數(shù)據(jù)集進行預處理，同時對數(shù)據(jù)集進行數(shù)據(jù)增強；

步驟2、設計光照信息分類網(wǎng)絡；

步驟3、設計自重建網(wǎng)絡模型；

步驟4、構建光照重渲染網(wǎng)絡；

步驟5、使用數(shù)據(jù)集對光照重渲染網(wǎng)絡進行訓練。

在進一步的實施例中，所述步驟1進一步為：

步驟1-1、將圖像分辨率壓縮至預定尺寸，為了防止通道模式不一致所導致的程序出錯，將所有圖像的通道模式統(tǒng)一改為RGB模式，并將所有圖像由H*W*C三維張量在第0維處擴展為N*H*W*C的四維張量；其中H為圖像的高，W為圖像的寬，C為圖像的通道數(shù)，N為圖像的個數(shù)；

步驟1-2、將通道C與H、W進行位置互換，變成N*C*N*W的四維張量；

步驟1-3、將圖像的像素值由區(qū)間[0，255]歸一化到區(qū)間[0，1]，公式如下：

式中，x_norm是每個通道內(nèi)歸一化之后的結果，x為原始數(shù)據(jù)，x_max為每個通道內(nèi)數(shù)據(jù)的最大值，x_min為每個通道內(nèi)數(shù)據(jù)的最小值；如此操作會使得數(shù)據(jù)分布更加有利于后續(xù)最優(yōu)值的求解；在歸一化之后便可以使用將數(shù)據(jù)進行用于計算。

在進一步的實施例中，所述步驟2進一步為：