[發(fā)明專利]人體場景圖像本征分解與重光照方法和裝置有效
| 申請?zhí)枺?/td> | 202110268797.3 | 申請日： | 2021-03-12 |
| 公開（公告）號： | CN113240622B | 公開（公告）日： | 2023-01-06 |
| 發(fā)明（設(shè)計）人： | 劉燁斌;吉朝南;戴瓊海 | 申請（專利權(quán)）人： | 杭州新暢元科技有限公司 |
| 主分類號： | G06T7/00 | 分類號： | G06T7/00;G06T7/90;G06T5/00;G06V10/44;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201 | 代理人： | 韓海花 |
| 地址： | 310020 浙江省杭州市錢塘區(qū)白*** | 國省代碼： | 浙江;33 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 人體 場景 圖像 分解 光照 方法 裝置 | ||
1.一種人體場景圖像本征分解與重光照方法，其特征在于，包括以下步驟：
獲取單張RGB圖像；
對所述單張RGB圖像進(jìn)行分解，將所述單張RGB圖像分解為反射率圖、陰影圖、法線圖、球諧光照參數(shù)、可見性圖；
將所述球諧光照參數(shù)替換為新的光照參數(shù)，其中，所述新的光照參數(shù)為與所述單張RGB圖像的光照參數(shù)不同的光照參數(shù)；
根據(jù)所述新的光照參數(shù)對所述單張RGB圖像進(jìn)行重光照，以獲取重光照的圖像；
其中，所述對所述單張RGB圖像進(jìn)行分解，包括：
將所述單張RGB圖像輸入預(yù)設(shè)的法線預(yù)測網(wǎng)絡(luò)，獲取所述法線圖；
在獲取所述法線圖之后，還包括：
將所述法線圖與所述單張RGB圖像輸入預(yù)設(shè)的圖像分解網(wǎng)絡(luò)，獲取反射率圖、陰影圖、球諧光照參數(shù)、可見性圖；
所述根據(jù)所述新的光照參數(shù)對所述單張RGB圖像進(jìn)行重光照，以獲取重光照的圖像，包括：
根據(jù)預(yù)設(shè)公式獲取所述重光照的圖像，其中，所述預(yù)設(shè)公式，包括：
Iinverse=palbedo*（Charmonics* H(n) *pshadow）
其中，palbedo是預(yù)測的反射率圖，Charmonics是新的球諧光照函數(shù)，H(n)是分解過后的法線圖，pshadow是可見性圖，Iinverse是重光照的圖像。
2.如權(quán)利要求1所述的方法，其特征在于，在所述將所述單張RGB圖像輸入預(yù)設(shè)的法線預(yù)測網(wǎng)絡(luò)之前，包括：
將樣本圖像輸入初始法線預(yù)測網(wǎng)絡(luò)，獲取圖片特征；
基于L1損失函數(shù)與VGG網(wǎng)絡(luò)損失函數(shù)構(gòu)成最終損失函數(shù)，根據(jù)所述最終損失函數(shù)計算出的損失值調(diào)整所述初始法線預(yù)測網(wǎng)絡(luò)，直至所述損失值小于預(yù)設(shè)閾值，其中，所述VGG網(wǎng)絡(luò)用于提取所述圖片特征，所述最終損失函數(shù)為：
LN= L1（pnormal，gtnormal）+5*VGGLoss（pnormal，gtnormal）
其中，L1是L1損失函數(shù)，VGGLoss是VGG網(wǎng)絡(luò)損失函數(shù)，pnormal是網(wǎng)絡(luò)預(yù)測的法線圖，gtnormal是真實的法線圖。
3.一種人體場景圖像本征分解與重光照裝置，其特征在于，包括：
分解模塊，用于獲取單張RGB圖像；
所述分解模塊，還用于對所述單張RGB圖像進(jìn)行分解，將所述單張RGB圖像分解為反射率圖、陰影圖、法線圖、球諧光照參數(shù)、可見性圖；
獲取模塊，用于將所述球諧光照參數(shù)替換為新的光照參數(shù)，其中，所述新的光照參數(shù)為與所述單張RGB圖像的光照參數(shù)不同的光照參數(shù)；
重光照模塊，用于根據(jù)所述新的光照參數(shù)對所述單張RGB圖像進(jìn)行重光照，以獲取重光照的圖像；
所述分解模塊，還用于將所述單張RGB圖像輸入預(yù)設(shè)的法線預(yù)測網(wǎng)絡(luò)，獲取所述法線圖；
所述分解模塊，還用于將所述法線圖與所述單張RGB圖像輸入預(yù)設(shè)的圖像分解網(wǎng)絡(luò)，獲取反射率圖、陰影圖、球諧光照參數(shù)、可見性圖；
所述重光照模塊，具體用于：
根據(jù)預(yù)設(shè)公式獲取所述重光照的圖像，其中，所述預(yù)設(shè)公式，包括：
Iinverse=palbedo *（Charmonics * H(n) * pshadow）
其中，palbedo是預(yù)測的反射率圖，Charmonics是新的球諧光照函數(shù)，H(n)是分解過后的法線圖，pshadow是可見性圖，Iinverse是重光照的圖像。
4.一種計算機(jī)設(shè)備，其特征在于，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時，實現(xiàn)如權(quán)利要求1-2中任一所述的方法。
5.一種非臨時性計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-2中任一所述的方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于杭州新暢元科技有限公司，未經(jīng)杭州新暢元科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110268797.3/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 上一篇：一種多通道空氣采樣裝置及方法
- 下一篇：微光學(xué)器件和成像裝置
- 彩色圖像和單色圖像的圖像處理
- 圖像編碼/圖像解碼方法以及圖像編碼/圖像解碼裝置
- 圖像處理裝置、圖像形成裝置、圖像讀取裝置、圖像處理方法
- 圖像解密方法、圖像加密方法、圖像解密裝置、圖像加密裝置、圖像解密程序以及圖像加密程序
- 圖像解密方法、圖像加密方法、圖像解密裝置、圖像加密裝置、圖像解密程序以及圖像加密程序
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序以及圖像解碼程序
- 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程序、以及圖像解碼程序
- 圖像形成設(shè)備、圖像形成系統(tǒng)和圖像形成方法
- 圖像編碼裝置、圖像編碼方法、圖像編碼程序、圖像解碼裝置、圖像解碼方法及圖像解碼程序
- 圖像編碼裝置、圖像編碼方法、圖像編碼程序、圖像解碼裝置、圖像解碼方法及圖像解碼程序
