[發明專利]單程對象掃描

在審

• 申請號: 202110215221.0
• 申請日: 2021-02-25
• 公開（公告）號: CN113315878A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: R·薩拉契尼;T·里克;Z·Z·貝克爾
• 申請（專利權）人: 蘋果公司
• 主分類號: H04N1/00
• 分類號: H04N1/00
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 魏小薇;吳麗麗

本公開涉及單程對象掃描。本文所公開的各種具體實施包括基于所選擇的圖像的子集和與該子集的每個圖像對應的深度數據生成三維(3D)模型的設備、系統和方法。例如，示例性過程可包括：在設備于包括對象的物理環境中移動期間采集傳感器數據，該傳感器數據包括經由該設備上的相機捕獲的物理環境的圖像；基于基于設備運動和深度數據相對于基于運動的缺陷評估該圖像來選擇該圖像的子集；以及基于所選擇的該圖像的子集和與所選擇的子集的每個圖像對應的深度數據來生成該對象的3D模型。

相關申請的交叉引用

本申請要求2020年2月26日提交的美國臨時申請序列號62/981,607和2021年2月9日提交的美國非臨時申請序列號17/171,434的權益，這些申請的全文以引用方式并入本文。

技術領域

本公開整體涉及生成物理環境的三維幾何表示，并且具體地涉及基于在物理環境中檢測到的深度信息生成幾何表示的系統、方法和設備。

背景技術

物理環境和其中的對象已通過生成三維(3D)網格、利用3D點云以及通過其他方式來建模(例如，重建)。這些重建的網格表示物理環境的地板、墻壁和其他對象的3D表面點和其他表面特征。此類重建可基于物理環境的圖像和深度測量(例如，使用RGB相機和深度傳感器)來生成。

使用移動設備用于基于物理環境的圖像和在物理環境中檢測到的深度信息來生成3D模型的現有技術可能是不準確且低效的，例如，基于用戶在房間內走動時捕獲照片或視頻或其他傳感器數據。此外，現有技術可能無法在實時環境中提供足夠準確且高效的對象檢測。

發明內容

本文所公開的各種具體實施包括使用所選擇的圖像數據的子集和深度數據生成三維(3D)模型的設備、系統和方法。該3D模型基于物理環境的圖像、在物理環境中檢測到的深度信息以及用于跟蹤設備/深度相機的特定位置和取向的其他信息來生成。出于各種原因，可能期望排除包括基于運動的缺陷和/或僅包括所選擇的一組特定圖像(例如，關鍵幀)的圖像。這樣做可提供對象的更有用、更現實或物理上更有意義的模型。

本公開的一些具體實施涉及基于所選擇的圖像的子集和與所選擇的子集的每個圖像對應的深度數據來生成對象的3D模型的示例性方法。該示例性方法最初涉及：在設備于包括對象的物理環境中移動期間采集傳感器數據，該傳感器數據包括經由該設備上的相機捕獲的物理環境的圖像。例如，用戶在物理環境中圍繞對象(例如，桌子上方的鞋)移動設備(例如，移動設備)以從不同側面捕獲該對象的圖像。在一些具體實施中，該傳感器數據可包括深度數據和運動傳感器數據。在一些具體實施中，在該設備的移動期間，用戶界面可顯示所捕獲的包括對象的環境并提供反饋機制。例如，手電筒型高光可顯示已針對特定對象捕獲的區域(例如，針對所捕獲的像素顯示較淺陰影區域，以及針對尚未充分捕獲以用于重建的區域顯示較深陰影區域)。在一些具體實施中，該用戶界面可顯示該對象的初步3D模型。例如，當用戶正在捕獲實時視頻并且當實時視頻正在主觀看屏幕上流式傳輸時，另一個窗口的畫中畫顯示可以在實時預覽屏幕中向用戶顯示3D模型重建。

該示例性方法還涉及：基于基于設備運動和深度數據相對于基于運動的缺陷評估圖像來選擇圖像的子集(例如，選擇要用作“關鍵幀”的圖像)。在一些具體實施中，評估基于運動的缺陷涉及估計特定像素的投影速度。例如，可分析與所識別的對象、3D邊界框、相機視圖的中心等對應的像素以得出每幀處的基于運動的缺陷。在一些具體實施中，在給定相機的當前運動和像素距相機的距離的情況下，可通過確定像素速度來確定投影速度。除此之外或另選地，在一些具體實施中，可另外基于已從期望距離范圍內和/或角度范圍內捕獲圖像來選擇圖像。除此之外或另選地，在一些具體實施中，可選擇圖像以確保圖像包括對象或特定對象特征(例如，對象的邊緣、對象與相機的最接近點、公認的標記諸如品牌名稱和/或符號等)。在一些具體實施中，可基于所選擇的圖像子集在設備的移動期間顯示畫中畫預覽。