[發明專利]用于在真實世界3D環境中放置增強或混合現實應用的虛擬對象的方法和設備

有效

• 申請號: 201780077891.2
• 申請日: 2017-11-29
• 公開（公告）號: CN110073417B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 卡羅琳·巴亞爾;皮埃雷克·茹埃;馬蒂·弗雷德蒂
• 申請（專利權）人: 交互數字CE專利控股公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T19/20
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

一種用于在真實世界3D環境中放置增強或混合現實應用的虛擬對象的方法，在增強或混合現實應用的運行時間選擇(14)在真實世界3D環境中預定的至少兩個候選插入區域的有限集合中的一個候選插入區域來用于在真實世界3D環境中放置虛擬對象，所述選擇基于針對候選插入區域中的每一個組合以下每一個之間的關系的標準：真實世界3D環境，針對虛擬對象在候選插入區域中的放置而考慮的所述虛擬對象，以及用戶位置；并且將虛擬對象插入(14)所述選擇的候選插入區域中。

技術領域

本發明的領域是增強現實(AR)和混合現實(MR)的領域。更具體地，本發明涉及用于在真實世界3D環境中放置增強或混合現實應用的虛擬對象的解決方案(方法和設備)。

背景技術

增強現實(AR)應用是指真實世界環境的實時視圖，其元素通過計算機生成的(CG)內容(諸如視頻或圖形)來增強。在混合現實(MR)中，CG內容不僅覆蓋在真實世界的俯視圖上，而且它真實地與真實世界環境相互作用，并且數字和物理現實無縫地混合在一起。

在AR或MR應用中，視覺CG內容在給定位置被插入真實3D環境中。這個位置一般是：

·相對于預定義的視覺2D/3D圖案(例如工業應用)定義，由空間坐標(例如，基于室外位置的應用)或屏幕坐標(例如Google?Glass^TM應用)預定，

·或由用戶手動選擇(例如交互式應用)。

可以相對于視覺圖案的大小預定或定義CG內容的比例。

然而，在不受控制的復雜真實世界3D環境中發生的AR或MR應用中，最佳位置和比例取決于真實世界環境，并且不能完全提前指定。例如，對于在用戶的起居室中將虛擬對象插入混合現實中，有必要理解和分析真實場景的布局，還有它的輻射測量、虛擬對象的幾何和外觀、用戶位置以及應用本身的目的。實際上，虛擬對象的最佳放置取決于引用CG內容(即虛擬對象)、真實世界環境和應用的補充規則和約束。

已知的解決方案是使用特征檢測或對象識別技術來指定用于插入的相關位置。在替代已知的解決方案中，Microsoft?Hololens^TM眼鏡使用錨點的概念，其可以由用戶選擇或使用圖像分析技術自動定位。在專利US?2014/0210784中描述的另一替代已知解決方案中，控制器調整虛擬對象的位置和比例以使其與用戶的視野重疊。

然而，這些已知的解決方案沒有將所有約束條件一起考慮，并且不能保證用于插入虛擬對象的位置對于用戶來說是最佳的。

A.E.Breen等人在“用于增強現實的交互式遮擋和自動對象放置(InteractiveOcclusion?and?Automatic?Object?Placement?for?Augmented?Reality)”，計算機圖形論壇(Computer?Graphics?Forum)，Wiley-Rlackwell?Publishing?LTD，第15卷，n°3，1996年中描述了另一種解決方案。根據該方案，虛擬對象從初始位置自動移動，直到它們與AR中的靜態真實對象接觸，從正在使用的真實世界環境的圖像和碰撞檢測算法得出校準數據使得能夠相對于靜態真實對象執行虛擬對象的自動對象放置。在實現方式中，虛擬對象在由用戶任意定義的“重力”矢量的方向上遞增地移動(轉動和旋轉)，直到檢測到例如與真實桌子、真實地板或真實墻壁的碰撞。

盡管對于實現真實的AR表示具有吸引力，但在許多情況下，該解決方案可能證明是不夠的。由于它是增量方法，因此需要用戶提供的初始位置。并沒有自動查找有效初始位置因此可以自動化該過程的解決方案。即使它可以自動化，也不會考慮相鄰對象或縮放參數，并且可能證明例如當虛擬對象對于桌子而言太大或者當附在墻上時相對于AR場景的其他部分看起來很不優美時，它是不合適的。否則，用戶需要做出決定，特別是關于“重力”矢量的選擇。而且，布置虛擬對象的位置可能不是最佳的并且僅對應于第一次發生的碰撞。另外，遞增地確定虛擬對象的適當定位和取向有時可能需要顯著且不可預測的計算成本，這對于實時應用是不利的。