[發明專利]一種繪制虛擬物體陰影的方法及設備

在審

• 申請號: 202210310337.7
• 申請日: 2022-03-28
• 公開（公告）號: CN114638950A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 蔡亞娟;孟亞州;宗達
• 申請（專利權）人: 海信視像科技股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/00
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 丁睿

本申請涉及AR技術領域，提供一種繪制虛擬物體陰影的方法及設備，采用HDR全景圖生成模型，得到真實場景的LDR圖像對應的HDR全景圖像，將KL散度作為損失函數，用HDR全景圖像微調光照球諧特征模型，優化光照球諧特征模型原始的球面高斯強度分布，并節約了光照球諧特征模型的訓練過程，省時省力；通過將優化的球面高斯強度分布中亮度值最大的點，確定為光源位置，并根據光源位置為疊加在LDR圖像中顯示的虛擬物體繪制陰影。由于HDR全景圖像完整地記錄了環境光照信息，包含環境光照的真實球面高斯強度分布，提高了光源位置確定的準確性，提升了虛擬物體陰影的繪制效果，進而提高了虛擬物體與真實場景的光照一致性，提升了用戶的AR體驗。

技術領域

本申請涉及增強現實(Augmented Reality，AR)技術領域，尤其涉及一種繪制虛擬物體陰影的方法及設備。

背景技術

AR技術是在虛擬現實(Virtual Reality，VR)基礎上發展起來的新技術，是通過計算機系統提供的信息增加用戶對真實世界感知的技術，并將計算機系統生成的虛擬物體、虛擬場景、系統提示信息或關于真實物體的非幾何信息等疊加到真實世界中，從而實現對真實世界的″增強″，已廣泛應用在各行各業。

在AR體驗中，用戶對光照有微妙的感覺，通常將光照一致性作為虛實融合的重要指標，光照一致性是指讓虛擬物體具有與真實物體相同的光照效果。光照一致性的目標是使虛擬物體的光照情況與真實場景中的光照情況一致，即虛擬物體與真實物體有著一致的明暗、陰影效果，以增強虛擬物體的真實感。

目前，相關技術為AR場景中的虛擬物體繪制陰影時，大多是采用深度神經網絡，對攝像頭采集的原始圖像進行學習，輸出環境貼圖，并根據環境貼圖確定光源位置，進而根據光源位置為虛擬物體繪制陰影效果。然而，由于AR設備的攝像頭采集的原始圖像一般為低動態范圍(Low Dynamic Range，LDR)圖像，包含的光照信息較少，導致光源位置估計的不夠準確，進而降低了虛擬物體與真實場景的光照一致性，影響用戶AR體驗。

發明內容

本申請實施例提供了一種繪制虛擬物體陰影的方法及設備，用于提高虛擬物體與真實場景的光照一致性。

第一方面，本申請實施例提供一種繪制虛擬物體陰影的方法，應用于AR設備，包括：

獲取所述AR設備的攝像頭采集的任一真實場景的低動態范圍LDR圖像；

將所述LDR圖像輸入至高動態范圍HDR全景圖生成模型，獲得HDR全景圖像，所述HDR全景圖像包含環境光照的真實球面高斯強度分布；

將所述HDR全景圖像輸入至光照球諧特征生成模型，利用所述真實球面高斯強度分布優化所述光照球諧特征生成模型的原始球面高斯強度分布，得到目標球面高斯強度分布；

根據所述真實球面高斯強度分布和所述目標球面高斯強度分布，確定光源在虛擬場景中的位置；

將虛擬物體疊加顯示在所述LDR圖像中，并根據所述光源的位置，為疊加顯示的虛擬物體繪制陰影。

第二方面，本申請實施例提供一種AR設備，包括處理器、存儲器、攝像頭和顯示屏，所述顯示屏、所述攝像頭、所述存儲器和所述處理器通過總線連接：

所述存儲器存儲有計算機程序，所述處理器根據所述計算機程序，執行以下操作：

獲取所述攝像頭采集的任一真實場景的低動態范圍LDR圖像，并由所述顯示屏進行顯示；

將所述LDR圖像輸入至高動態范圍HDR全景圖生成模型，獲得HDR全景圖像，所述HDR全景圖像包含環境光照的真實球面高斯強度分布；

將所述HDR全景圖像輸入至光照球諧特征生成模型，利用所述真實球面高斯強度分布優化所述光照球諧特征生成模型的原始球面高斯強度分布，得到目標球面高斯強度分布；