[發明專利]AR場景中的環境光照確定方法和裝置

有效

• 申請號: 202010557585.2
• 申請日: 2020-06-18
• 公開（公告）號: CN111710049B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 潘睿;郝冬寧;陳潔
• 申請（專利權）人: 三星電子（中國）研發中心;三星電子株式會社
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/50
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 孟旸;王麗琴

本發明公開了一種AR場景中的環境光照確定方法和裝置，主要包括：對AR場景的設置多個虛擬光源點，基于神經網絡預測出當前幀圖像的每個虛擬光源點的參考光照參數，針對每個虛擬光源點設置對應的參考空間置信度和參考時間置信度，并將二者相結合得到參考綜合置信度，利用參考綜合置信度與前一幀圖像的綜合置信度相比較得到融合后的當前綜合置信度，利用當前綜合置信度、前幀綜合置信度和前幀光照參數，對當前幀圖像的光照參數進行修正而得到當前幀的確定的光照參數，進一步利用當前幀的確定的光照參數對AR場景中的虛擬物體進行光照渲染。本發明解決了多光源環境下AR場景中的環境光照預測不準確的問題，使得虛擬物體的表現更加真實。

技術領域

本發明涉及增強現實技術領域，特別涉及一種AR場景中的環境光照確定方法和裝置。

背景技術

增強現實，即AR(Augmented Reality)，是一種實時地計算攝影機影像的位置及角度并加上相應圖像的技術，它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，這種技術的目標是在屏幕上把虛擬世界放在現實世界并進行互動。

在現有技術中，當放置一個虛擬物體在真實場景中時，若只給這個虛擬物體添加一個默認的光源方向和光源強度，那么該虛擬物體的影子往往會與真實物體的影子方向不一致，該虛擬物體的亮度也與環境光照不一致，使得虛擬物體顯得非常不真實。

為了使放置在真實場景中的虛擬物體與真實場景相融合，避免虛擬物體的突兀表達，使得虛擬物體能夠表現出真實物體的樣貌，需要考慮虛擬物體的光照與真實場景的光照關系，盡力使得虛擬物體的虛擬光源與真實場景中的真實光源的方向、強度、顏色相一致。在這里，就需要使用到光照估計技術。光照估計是一種通過人工智能(AI)實時分析相機的預覽畫面，估計當前環境下的光源方向、光源強度以及光源顏色等參數的技術。

蘋果公司的ARKit和谷歌公司的ARCore都是現有最常使用的AR開發軟件，它們都有自己的用來實現光照估計技術的光照估計模塊。其中，ARKit可以預測環境光源的強度和色溫，而ARCore可以預測環境中主光源的方向。但是，現實場景的光照環境往往非常復雜，例如室內存在多光源的情況下，虛擬物體的光照需要考慮到這些多光源的情況，而ARKit和ARCore都無法解決多光源的問題，也無法基于環境光照生成一個穩定且準確的結果。

發明內容

有鑒于此，本發明提供一種AR場景中的環境光照確定方法和裝置，以得到多光源環境下的穩定準確的環境光照預測結果，解決多光源環境下，AR場景中的環境光照預測不準確的問題，以更好地渲染虛擬物體，使虛擬物體的表現更加真實。

本發明的技術方案是這樣實現的：

一種AR場景中的環境光照確定方法，包括：

利用神經網絡對所拍攝的AR場景的當前幀圖像進行預測，獲得對應于所述當前幀圖像的參考光照參數表，并根據所述當前幀圖像的拍攝信息建立對應于所述當前幀圖像的參考綜合置信度表，其中，所述參考光照參數表和參考綜合置信度表中分別記錄有以所述當前幀圖像的拍攝位置為中心的球面上的多個虛擬光源點的參考光照參數和參考綜合置信度；

根據所述參考綜合置信度表和對應于前一幀圖像的前幀綜合置信度表，獲得對應于所述當前幀圖像的當前綜合置信度表；

根據所述參考光照參數表、所述當前綜合置信度表、所述前幀綜合置信度表以及對應于所述前一幀圖像的前幀光照參數表，獲得對應于所述當前幀圖像的當前光照參數表，其中，所述當前光照參數表中記錄有以所述當前幀圖像的拍攝位置為中心的球面上的多個虛擬光源點的當前所確定的光照參數。

進一步，所述的根據所述當前幀圖像的拍攝信息建立對應于所述當前幀圖像的參考綜合置信度表，包括：