[發明專利]一種用于頭戴增強現實設備的虛擬物體陰影渲染方法

有效

• 申請號: 202011543271.3
• 申請日: 2020-12-21
• 公開（公告）號: CN112700528B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 李蔚清;李子琛
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T15/55
• 分類號: G06T15/55;G06T15/60;G06T19/00
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 岑丹

1.一種用于頭戴增強現實設備的虛擬物體陰影渲染方法，其特征在于，具體步驟為：

步驟1：獲取真實空間目標平面以及真實空間目標平面的色彩信息，所述真實空間目標平面為場景中接受虛擬物體投影的平面，獲取真實空間目標平面的具體方法為：

步驟1.1：根據人工標記點對場景中的地面進行三維注冊，解算得到真實世界平面相對于虛擬視點的位置姿態；

步驟1.2：在虛擬場景中繪制虛擬平面，并根據繪制結果中的虛擬平面相對于視點的深度緩存，得到虛擬平面的覆蓋區域，并將覆蓋區域與相機獲取的真實世界圖像作比對，獲得真實世界圖像中經步驟1.1三維注冊的目標平面所在區域；

步驟1.3：提取步驟1.2中目標平面區域的真實世界圖像顏色通道；

步驟2：繪制虛擬場景的顏色信息和陰影信息，并存儲為前景層圖像和陰影層圖像，虛擬場景前景圖層以及陰影圖層繪制的具體步驟如下：

步驟2.1：渲染前景層，所述前景層包含了三種渲染過程中的緩存信息，分別是場景法線信息緩存，材質PBR信息緩存，顏色信息緩存，調用渲染線程獲取三類緩存，并將三者合并，獲得不包含光照信息的前景層；

步驟2.2：渲染陰影層，根據當前虛擬場景的每個光源的屬性，計算場景中接受陰影的目標平面的光照情況，根據渲染場景相對于虛擬視點的透視關系，生成陰影分布圖并將結果存儲為陰影層；

步驟3：將步驟2渲染獲得的陰影層處理為負陰影遮罩層，具體步驟如下：

步驟3.1：根據步驟2獲取到的陰影層渲染結果，獲取場景中每個光源的陰影層，并解析為陰影貼圖；

步驟3.2：根據獲得的陰影貼圖，提取陰影邊緣部分；

步驟3.3：對獲得的陰影貼圖的每個像素的alpha通道值取反，獲得針對該光源的負陰影遮罩層；

步驟4：基于步驟3得到的負陰影遮罩層，根據步驟1獲得的真實空間目標平面的色彩經過神經網絡獲得負陰影色彩層，將負陰影色彩層的RGB通道與負陰影遮罩層的alpha通道混合得到具有RBGA四個通道的負陰影層，對步驟3渲染獲得的負陰影遮罩層進行色彩處理的具體步驟如下：

步驟4.1：獲取步驟3中各個光源的負陰影遮罩層并進行合并；

步驟4.2：基于步驟1獲取的真實空間目標平面的色彩，通過深度學習得到顏色通道結果；

步驟4.3：將步驟4.1合并后的負陰影遮罩層根據像素alpha通道與步驟4.2中輸出的目標平面區域圖像進行混合，得到具有RBGA四個通道的完整負陰影層；

步驟5：將負陰影層與前景層合成得到最終圖像。

2.根據權利要求1所述的用于頭戴增強現實設備的虛擬物體陰影渲染方法，其特征在于，通過深度學習得到顏色通道結果的具體方法為：

通過場景顏色匹配網絡對負陰影遮罩層進行優化，所述顏色匹配網絡采用U-Nets結構，輸入為步驟1中獲取的真實空間目標平面圖像各像素的位置信息以及顏色RGB通道值，輸出為目標區域各像素的顏色RGB通道值以及顏色漸變參數因子k。

3.根據權利要求1所述的用于頭戴增強現實設備的虛擬物體陰影渲染方法，其特征在于，對各個光源的負陰影遮罩層進行合并的規則為保留alpha值大于設定閾值的像素，覆蓋alpha值小于設定閾值的像素。

4.根據權利要求1所述的用于頭戴增強現實設備的虛擬物體陰影渲染方法，其特征在于，將負陰影層與前景層合成得到最終圖像的具體公式為：

R_n＝f(1-S_n)

其中，I表示最終的圖像，B表示前景層，R_n表示n號光源的負陰影遮罩層，M表示負陰影色彩層，的運算指將負陰影遮罩層中每個像素的透明度通道值賦給負陰影色彩層中對應位置的像素，S_n表示單個光源陰影層，f(x)則表示對負陰影圖像作逐像素透明度處理的結果。