[發明專利]用于多用戶擴增現實的在線基準生成和跟蹤

在審

• 申請號: 201180043651.3
• 申請日: 2011-09-09
• 公開（公告）號: CN103155001A
• 公開（公告）日: 2013-06-12
• 發明（設計）人: B·江;A·斯瓦彌納杉;S·D·斯賓德拉;D·阿戶加;C·W·斯維特三世
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳煒

對待審的臨時申請的交叉引用

本申請根據35USC119要求于2010年9月9日提交且題為“Online?Reference?Generation?And?Tracking?For?Multi-User?Augmented?Reality（用于多用戶擴增現實的在線基準生成和跟蹤）”的美國臨時申請第61/381,344號的優先權，該臨時申請已轉讓給本申請受讓人并通過援引納入于此。

背景

擴增現實系統可將虛擬對象插入到現實世界的用戶視圖中。成功的擴增現實系統的一個關鍵要求在于能夠準確估計用戶相對于基準的位置和定向（姿勢）的跟蹤系統。否則，虛擬對象將出現在錯誤的位置或在環境四處浮動。在多用戶擴增現實系統中，虛擬對象需要從每一個用戶唯一的角度來看都出現在環境中的相同位置處。因此，每一個用戶相對于環境的唯一姿勢需要相對于相同的基準來估計。

用于多用戶擴增現實系統的常規跟蹤系統需要先前獲取的公共基準。該基準可以是環境的3D模型、置于環境中的人工標記、或環境中的平面表面的前向視圖圖像。因此，這種擴增現實系統只能在已知環境中操作。然而，預先獲得基準并不一定方便或可能。對于環境的先驗知識的依賴性大大地限制了多用戶擴增現實技術的用途。

存在不需要對環境的先驗知識的跟蹤技術，諸如在2009年第8屆關于混合和擴增現實的IEEE國際研討會（ISMAR）上在2009年10月19-22日第83-86頁上的Georg?Klein和David?Murray提出的“Parallel?Tracking?and?Mapping?on?a?Camera?Phone（相機電話上的并行跟蹤和地圖繪制）”。然而，這些技術只估計一用戶相對于任意基準的姿勢，而無法用于多用戶擴增現實應用。

如在2010年第9屆關于混合和擴增現實的IEEE國際研討會（ISMAR）、2010年10月13-16日第57-64頁上W.Lee、Y.Park、V.Lepetit、W.Woo提出的“Point-and-Shoot?for?Ubiquitous?Tagging?on?Mobile?Phones（用于移動電話上普遍存在的標記的對準拍攝）”中所描述的對準拍攝方法估計了多個用戶的姿勢。在對準拍攝的方法中，相機的定向由板載加速計來估計。圖像被變形成前向視圖并且生成“平均補片”集合。每一個平均補片被計算為在視點的有限范圍上補片的平均，并且生成多個范圍的平均補片以覆蓋所有可能的視圖。通過將每一個傳入圖像與平均補片進行比較，可對姿勢進行估計。然而，對準拍攝方法依賴于運動傳感器來生成前向視圖圖像，并且因此要求相機中的附加組件并且遭受由運動傳感器所引起的誤差。另外，對準拍攝方法依賴于多個平均補片。而且，對準拍攝方法僅在水平或垂直平面表面上工作，而這是具有限制性的。

從而，需要一種能夠在事先未知的場景中估計多個用戶的姿勢的改進的系統。

概述

多用戶擴增現實（AR）系統在沒有先前獲取的公共基準的情況下通過在運行過程中生成基準圖像來操作。基準圖像通過捕捉平面對象的至少兩個圖像并且使用該至少兩個圖像來確定第一移動平臺相對于平面對象的姿勢（位置和定向）來產生。平面對象的圖像（可以是初始圖像或后續捕捉的圖像之一）通過使用第一移動平臺的定向來變形以產生平面對象的前向視圖的基準圖像。通過使用由第二移動平臺捕捉的平面對象的圖像以及基準圖像來確定第二移動平臺相對于平面圖像的姿勢。確定第一移動平臺的姿勢和/或將圖像變形以產生基準可以由第一移動平臺或服務器來執行。另外，若期望，基準圖像可被擴展為包括新的圖像，該新的圖像包含平面對象中未被包括在基準圖像中的部分。例如，第二移動平臺可捕捉新的圖像，該新的圖像包括平面對象中未被包括在基準圖像中的不同部分。新的圖像和基準圖像可被合并以生成平面對象的前向視圖的新的基準圖像，并且第二移動平臺相對于平面對象的姿勢可使用由第二移動平臺所捕捉的平面對象的后續圖像以及新的基準圖像來更新。