[發明專利]人體場景圖像本征分解與重光照方法和裝置

有效

• 申請號: 202110268797.3
• 申請日: 2021-03-12
• 公開（公告）號: CN113240622B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 劉燁斌;吉朝南;戴瓊海
• 申請（專利權）人: 杭州新暢元科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06T5/00;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

本發明提出一種人體場景圖像本征分解與重光照方法和裝置，其中，方法包括：使用Clo3d制作人體模型，使用blender進行光線追蹤進行渲染，得到訓練數據集；使用單張圖像預訓練法線預測網絡；將原始圖像與預測得到的法線圖作為圖像本征分解網絡的輸入，預測得到反射率圖、陰影圖以及球諧光照參數；使用新的球諧光照參數對原圖像進行重光照。最終將單張圖片分解為反射率圖與陰影圖，可以實現圖片重光照、3D模型合成、模型表面紋理重構等應用。在三維重建領域可以去除輸入圖片的陰影，提升三維重建模型的表面紋理質量。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種人體場景圖像本征分解與重光照方法和裝置。

背景技術

圖像本征分解是一個經典的視覺圖像處理問題，涉及到將單張圖像分解為多張表示該圖像本征性質的圖像，是一個欠定問題。常見的圖像本征分解方法將圖像分解為albedo map，shading map，更進一步的，還可以從單張圖像中獲取normal map,light map以及BRDFs。圖像本征分解有著許多應用，例如3D模型合成、模型表面紋理重構以及重光照等。

圖像分解方法可以分為兩大類：基于優化的圖像本征分解、基于深度學習的圖像本征分解。基于優化的圖像本征分解依賴較強的物理先驗，基于陰影與反照率圖像物理性質的不同進行圖像分解，代表性的方法有Retinex算法，該算法利用了光照的低頻性質，認為圖像梯度較大的變化是反射率變化，梯度較小的變化是光照變化。但是基于優化的圖像本征方法只適用于簡單場景下的圖像分解，對復雜光照場景下的圖像分解效果不好。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種人體場景圖像本征分解與重光照方法，以實現在三維重建領域可以去除輸入圖片的陰影，提升三維重建模型的表面紋理質量。

本發明的第二個目的在于提出一種人體場景圖像本征分解與重光照裝置。

本發明的第三個目的在于提出一種計算機設備。

本發明的第四個目的在于提出一種非臨時性計算機可讀存儲介質。

本發明的第五個目的在于提出一種計算機程序產品。

為達上述目的，本發明第一方面實施例提出了一種人體場景圖像本征分解與重光照方法，包括：使用卷積神經網絡對單張RGB圖像進行分解，將所述單張RGB圖像分解為反射率圖、陰影圖、法線圖；獲取新的光照參數，其中，所述新的光照參數為與所述單張RGB圖像的光照參數不同的光照參數；根據所述新的球諧光照參數對所述單張RGB圖像進行重光照，以獲取重光照的圖像。

為達上述目的，本發明第二方面實施例提出了一種人體場景圖像本征分解與重光照裝置，包括：分解模塊，用于使用卷積神經網絡對單張RGB圖像進行分解，將所述單張RGB圖像分解為反射率圖、陰影圖、法線圖；獲取模塊，用于獲取新的光照參數，其中，所述新的光照參數為與所述單張RGB圖像的光照參數不同的光照參數；重光照模塊，用于根據所述新的球諧光照參數對所述單張RGB圖像進行重光照，以獲取重光照的圖像。

為達上述目的，本發明第三方面實施例提出了一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時，實現如上述第一方面實施例所述的人體場景圖像本征分解與重光照方法。

為了實現上述目的，本發明第四方面實施例提出了一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如上述第一方面實施例所述的人體場景圖像本征分解與重光照方法。

為了實現上述目的，本發明第五方面實施例提出了一種計算機程序產品，當所述計算機程序產品中的指令處理器執行時，實現如上述第一方面實施例所述的人體場景圖像本征分解與重光照方法。