[發明專利]一種基于深度學習的本征圖像分解方法及裝置

有效

• 申請號: 201810201866.7
• 申請日: 2018-03-12
• 公開（公告）號: CN108416805B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 韓廣云;謝曉華;鄭偉詩
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/62
• 分類號: G06T7/62
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于深度學習的本征圖像分解方法，其特征在于，包括如下步驟：

S10在若干3D模型中選取3D模型加載入基于物理的渲染器，隨機設置光照，任取視角渲染圖片，并通過渲染器獲取對應的反射成分和光照成分，以此重復操作，生成大批量的有標注本征圖分解的數據集；

S20利用所生成的數據集將全卷積神經網絡訓練成本征圖分解網絡，包括：

S201計算像素誤差：采用以衡量預測值和真實值之間像素誤差，其中表示像素誤差，是預測輸出的分解結果，y是期望輸出的分解目標，即生成的數據集對應的真實值，n是有效像素數，i是任意一個有效像素,λ∈(0,1)，為權重，可調；

S202計算特征誤差：采用以用損失網絡φ的第l層對應的特征圖φ_l來衡量特征誤差，其中表示特征的相似度，l是選取的網絡層，φ_l為其對應的特征圖，C_l為對應這個特征圖的通道數，H_l為對應這個特征圖的高度，W_l為對應這個特征圖的寬度；

S203計算風格相似度對應的誤差：采用以通過Gram矩陣來衡量風格相似度，其中表示損失網絡的第l層對應的Gram矩陣的第i行第j列上的元素，φ′_l,i表示特征圖φ_l中的第i個通道對應的特征，并將這個矩陣φ_l,i按任意固定方式拉伸為向量，則風格相似度對應的誤差如公式6所示：其中，表示風格相似度對應的誤差，‖·‖_F表示求F-范數；

S204結合特征誤差和風格相似度對應的誤差計算感知誤差：采用其中，表示感知誤差，L_f和L_s表示選用的用于衡量感知誤差的激活層，w₁∈(0,1),為權重，可調；

S205通過梯度對應的Frobenius范數的比值對誤差進行加權，以平衡各誤差所帶來的梯度大小不平衡所造成的訓練不穩定，采用訓練全卷積神經網絡ψ；

S30對本征圖分解網絡進行應用，由預測輸出的分解結果，得到期望輸出的分解目標。

2.如權利要求1所述的基于深度學習的本征圖像分解方法，其特征在于，所述S20之后還包括：采用對訓練后的全卷積神經網絡ψ進行優化，其中損失網絡φ的參數不更新，全卷積神經網絡ψ參數更新。

3.如權利要求2所述的基于深度學習的本征圖像分解方法，其特征在于，所述更新全卷積神經網絡ψ參數時采用ADAM優化器。

4.如權利要求1所述的基于深度學習的本征圖像分解方法，其特征在于，所述S30包括：

S301令數據集中任一圖像為I，其對應的反射成分為R，對應的光照成分為L，根據Lambertian光照模型，滿足以下條件：I＝R⊙L(1)，該函數為圖像I等于R和L的逐點乘積；

S302利用全卷積神經網絡ψ，達到：的目的，其中是預測輸出的分解結果，ψ是本征圖分解網絡，X是網絡的實際輸入圖像，y是期望輸出的分解目標，即生成的數據集對應的真實值，若分解目標為反射成分R，則同理，對于L成分

5.如權利要求1所述的基于深度學習的本征圖像分解方法，其特征在于，所述在若干3D模型中選取3D模型的條件是：選取合理建模的，貼圖中不帶光照效果的3D模型。

6.如權利要求1所述的基于深度學習的本征圖像分解方法，其特征在于，所述S10中隨機設置光照，任取視角渲染圖片之后還包括：S01模擬深度傳感器，產生具有Kinect噪聲特征的深度圖，以此重復操作。