[發明專利]使用多個傳感器來進行繪圖與定位

有效

• 申請號: 201380055708.0
• 申請日: 2013-09-24
• 公開（公告）號: CN104769640B
• 公開（公告）日: 2018-10-23
• 發明（設計）人: M·拉馬錢德蘭;A·史汪明納桑
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 宋獻濤

本發明揭示用于使用移動裝置執行定位與繪圖的系統和方法。在一個實施例中，一種用于使用移動裝置執行定位與繪圖的方法包含：識別與所述移動裝置所處的當前區域相關聯的幾何約束；獲得由所述移動裝置的至少第一相機俘獲的所述當前區域的至少一個圖像；經由所述移動裝置的第二相機或所述移動裝置的傳感器中的至少一者獲得與所述當前區域相關聯的數據；及通過將與所述當前區域相關聯的所述幾何約束及所述數據應用于所述至少一個圖像而對所述當前區域執行定位與繪圖。

技術領域

本發明涉及執行定位與繪圖的領域。

背景技術

擴增實境(AR)提供使用計算機產生的音頻及/或視覺內容擴增的現實世界環境的視圖。所述音頻及/或視覺內容可覆蓋在使用移動裝置的相機俘獲的現實世界環境的圖像或視頻上或整合到其中。例如，擴增實境應用可實施在包含可用于俘獲現實世界環境的圖像或視頻的相機及可用于顯示所述現實世界環境的經擴增視圖的顯示器的移動電話或平板計算機上。

所述裝置可包含一或多個傳感器，所述一或多個傳感器收集可用于確定所述裝置的位置、定向、速度及/或移動方向的數據。此信息可用于輔助裝置產生擴增內容。所述傳感器還可用于收集來自用戶的輸入信息，例如觸摸屏上的觸摸或可用于允許用戶導覽在所述裝置上顯示的經擴增內容的其它輸入信息。

發明內容

本發明描述用于對移動裝置執行定位與繪圖的系統和方法。根據本發明的對移動裝置執行定位與繪圖的方法的實例包含：識別與所述移動裝置所處的當前區域相關聯的幾何約束；獲得由所述移動裝置的至少第一相機俘獲的所述當前區域的至少一個圖像；經由所述移動裝置的第二相機或所述移動裝置的傳感器中的至少一者獲得與所述當前區域相關聯的數據；及通過將與所述當前區域相關聯的所述幾何約束及所述數據應用于所述至少一個圖像而對所述當前區域執行定位與繪圖。

所述方法的實施方案可包含以下特征中的一或多者。所述至少一個圖像包含由所述移動裝置的所述第一相機俘獲的第一圖像及由所述移動裝置的所述第二相機俘獲的所述當前區域的第二圖像。獲得與所述當前區域相關聯的所述數據包含評估所述第一圖像及所述第二圖像，且基于所述評估將所述第一圖像或所述第二圖像指定為主要圖像，且將所述第一圖像及所述第二圖像中的另一者指定為次要圖像。獲得與所述當前區域相關聯的所述數據進一步包含計算所述移動裝置相對于環境的姿勢，其中所述移動裝置基于經由所述第一相機俘獲的所述主要圖像或至少一個其它圖像而定位。執行所述定位與繪圖包含：使用所述移動裝置相對于所述移動裝置定位在其中的所述環境的所述姿勢從所述主要圖像提取第一圖像特征，從所述次要圖像提取第二圖像特征；及基于所述第一圖像特征及所述第二圖像特征而對所述當前區域執行定位與繪圖。評估可包含相對于所述第一圖像及所述第二圖像內的特征或所述第一圖像及所述第二圖像的圖像質量中的至少一者而評估所述第一圖像及所述第二圖像。所述第一相機可為前向相機且所述第二相機可為側向相機或后向相機。獲得與所述當前區域相關聯的所述數據可包含從所述移動裝置處的定向傳感器收集數據。執行所述定位與繪圖可包含基于從所述定向傳感器收集的所述數據而估計所述移動裝置的定向。執行所述定位與繪圖進一步包括通過將所述幾何約束應用于從所述至少一個圖像提取的與所述移動裝置的所述定向相關的特征而從所述至少一個圖像提取所述特征?；谒鰩缀渭s束及所述移動裝置的所述定向而執行對從所述至少一個圖像提取的所述特征的繪圖或跟蹤中的至少一者。基于所述幾何約束及所述移動裝置的所述定向而識別所述至少一個圖像內的表面，所述表面包括水平表面或垂直表面中的至少一者；渲染所述至少一個圖像以用于在顯示屏上顯示；及在所述顯示屏上渲染對所述至少一個圖像內所識別的所述表面中的至少一者的擴增。