[發明專利]一種基于矩陣行列采樣和深度學習進行多光源渲染的方法

有效

• 申請號: 201810320587.2
• 申請日: 2018-04-11
• 公開（公告）號: CN108682041B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 張根源;應躍波
• 申請（專利權）人: 浙江傳媒學院;浙江廣播電視集團
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/50
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 解明鎧;劉靜靜

本發明公開了一種基于矩陣行列采樣和深度學習進行多光源渲染的方法，包括：步驟1，根據三維場景建立光照矩陣；步驟2，從光照矩陣中隨機抽取若干行，得到一次隨機縮減矩陣；步驟3，在一次隨機縮減矩陣中隨機抽取若干行，得到二次隨機縮減矩陣；步驟4，針對不同視點，分別繪制一次隨機縮減矩陣圖像和二次隨機縮減矩陣圖像；步驟5，利用一次隨機縮減矩陣圖像和二次隨機縮減矩陣圖像對訓練深度神經網絡模型；步驟6，在實時繪制高真實感圖像時，將繪制的二次隨機縮減矩陣圖像輸入訓練好的深度神經網絡模型，輸出得到完整的高真實感圖像。本發明提供的多光源渲染的方法，利用訓練好的深度神經網絡模型可以快速準確進行多光源渲染。

技術領域

本發明涉及計算機圖像處理領域，具體涉及一種基于矩陣行列采樣和深度學習進行多光源渲染的方法。

背景技術

對具有間接光照，高動態范圍環境光照，且具有多個直接光源的復雜場景進行渲染是一項很有挑戰的工作。研究表明，這類問題可以通過轉化為多光源問題來獲得解決，即所有光源可以被轉化成點光源的集合，從而將間接光照的渲染問題轉化成一個多點光源問題。使用數以千計的點光源進行直接渲染顯然是非常困難的。Lightcuts框架提供了一種可擴展的方法來解決多點光源問題，利用可見性剔除算法通過基于CPU的光線追蹤器可以在幾分鐘內完成計算。

在實際應用中，光源與被照射物體存在相對位置關系，需要針對光源與物體的位置關系進行渲染。在交互場景下，比如電影或結構設計過程中，需要及時響應光源與物體的相對位置變化，進行實時渲染，這會帶來極大的運算量。現有方法是通過預處理來解決這個問題，即事先針對各種位置關系完成渲染，在交互階段直接讀取渲染結果。這樣把計算總量進行了平攤。但是這種方法有兩個重大缺陷：1、占用大量內存存儲預處理數據。2、使用這種方法的場景，只有光源或物體單方面可以活動。這大大限制了該方法的應用范圍。

GPU作為專門處理圖像的硬件，內部具有加速能力，包括陰影映射算法以及著色器等。為圖形渲染計算提供計算加速及并行處理能力。使用GPU進行渲染處理，可以有效降低CPU開銷，同時提升渲染計算效率和效果。但是上述算法仍然還是比較耗時，本發明利用深度學習網絡來學習對部分繪制圖像的補全，進而達到整幅圖像繪制的目的。

發明內容

本發明提供了一種基于矩陣行列采樣和深度學習進行多光源渲染的方法，將復雜的三維場景下的多光源渲染問題轉化為訓練深度神經網絡模型的問題，利用訓練好的深度神經網絡模型可以快速準確進行多光源渲染。

一種基于矩陣行列采樣和深度學習進行多光源渲染的方法，包括：

步驟1，根據三維場景建立光照矩陣，該光照矩陣中，每一列表示一個光源照射的所有采樣點，每一行表示一個采樣點上的所有光源照射；

步驟2，從光照矩陣中隨機抽取若干行，得到一次隨機縮減矩陣；

步驟3，在一次隨機縮減矩陣中隨機抽取若干行，得到二次隨機縮減矩陣；

步驟4，針對不同視點，分別繪制一次隨機縮減矩陣圖像和二次隨機縮減矩陣圖像；

步驟5，利用一次隨機縮減矩陣圖像和二次隨機縮減矩陣圖像對訓練深度神經網絡模型；

步驟6，在實時繪制高真實感圖像時，首先繪制二次隨機縮減矩陣圖像，然后將二次隨機縮減矩陣圖像輸入訓練好的深度神經網絡模型，輸出得到完整的高真實感圖像。

一次隨機縮減矩陣中的行數足夠多時，一次隨機縮減矩陣圖像可以認為是整個三維場景完全繪制得到的圖像，當深度神經網絡模型訓練好之后，只要將二次縮減矩陣圖像輸入到訓練好的深度神經網絡模型，就可以得到一次隨機縮減矩陣圖像，也即得到整個三維場景完全繪制得到的圖像，大大提高繪制的效率。

作為優選，步驟4中，繪制一次隨機縮減矩陣圖像的步驟的具體過程如下：