[發明專利]呈現含真實對象及其虛擬副本的場景的圖像的方法和設備

在審

• 申請號: 201710355722.2
• 申請日: 2017-05-19
• 公開（公告）號: CN107403462A
• 公開（公告）日: 2017-11-28
• 發明（設計）人: M.弗拉德特;P.羅伯特;A.勞倫
• 申請（專利權）人: 湯姆遜許可公司
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T17/20;G06K9/00
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 呂曉章

技術領域

本公開涉及圖像處理的領域，例如在諸如例如頭戴式顯示器(HMD)、平板或智能電話之類的移動設備上消費的增強現實視頻內容的背景中。

背景技術

增強現實(AR)是允許例如實時地在增強現實場景中將虛擬對象與真實世界對象混合的技術，該增強現實場景可以在顯示設備(諸如頭戴式顯示器(HMD)、平板、智能電話或電視顯示屏)上顯示的一個或多個圖像中表示。該技術也被稱為混合現實。

例如當虛擬對象在AR場景中移動并碰到一個或多個真實對象時，可能發生AR場景的真實與虛擬對象之間的交互。例如，在真實場景由放在桌子上的卡片盒組成并且利用在桌子上滾動的虛擬球體來增強的情況下，預期的是，當球體將碰撞盒子時，不僅可以修改球體軌跡，而且盒子可以移動(根據對象的重量和速率，從一些輕微的振動到強烈的發射)。等人在“Geometric modifications applied to real elements in augmented reality”(2011 XIII虛擬現實研討會)中討論了能夠實時地在真實對象中執行修改的AR系統，旨在提供真實和虛擬對象之間交互的逼真手段。

圖1A示出了表示在等人的AR系統中使用的真實場景的圖像10的示例，該場景包括其中有真實對象100的真實對象。真實對象100對應于立方體，例如，卡片盒。標記101被應用于真實對象100的面上，標記101用于得到相對于真實對象的真實世界中的照相機位置，以用于正確插入虛擬對象。圖1B示出了圖像11，其中利用真實對象100的虛擬副本110替換真實對象100，變形被應用于虛擬副本110。例如通過使用真實對象100的3D模型來獲得虛擬副本110。通過使用從真實對象100的圖像10獲得的動態紋理對虛擬副本110進行紋理化。在原始場景10中，真實對象100的頂表面被真實對象100本身遮擋，而在圖像11的AR場景中，以不正確的紋理顯示上表面112。從圖像10取回包括標記101的真實對象100的可見面的紋理，并將其重新用作虛擬副本110的前面111和上面112的紋理信息，導致與圖像11的真實感有關的問題。

發明內容

說明書中對“一個實施例”、“實施例”、“示例實施例”、“特定實施例”的引用表示所描述的實施例可以包括特定的特征、結構或特性，但是每個實施例可以不一定包括該特定的特征、結構或特性。此外，這樣的短語不一定指代相同的實施例。此外，當結合實施例描述特定的特征、結構或特性時，認為結合其他實施例(無論是否明確描述)影響這樣的特征、結構或特性是在本領域技術人員的知識范圍內的。

本公開涉及一種呈現包括至少一個真實對象的場景的方法，該方法包括：

-接收表示場景的至少一個圖像；

-將變換應用于與至少一個真實對象的虛擬副本相對應的虛擬對象；

-在該至少一個圖像中，通過使用與該至少一個圖像中的真實對象相關聯的紋理信息來呈現所變換的虛擬對象的至少一個第一部分，紋理信息是根據表示該至少一個圖像中的與對應于所變換的虛擬對象的所述至少一個第一部分的真實對象的至少一個第二部分相關聯的可見性的信息所選擇的。

根據特定特性，該呈現包括：

-當該至少一個第二部分在該至少一個圖像中可見時，選擇與真實對象的該至少一個第二部分相關聯的紋理信息；

-當該至少一個第二部分在該至少一個圖像中不可見時，選擇與真實對象的至少一個第三部分相關聯的紋理信息。

根據特定特性，利用網格對虛擬對象進行建模，該至少一個第三部分是通過使用與該至少一個第三部分相關聯的一部分網格的至少一個頂點和與該至少一個第二部分相關聯的一部分網格的至少一個頂點之間的關系所獲得的。

根據另一特性，基于與網格的頂點相關聯的法線建立該關系。

根據特定特性，利用與網格的網格元素相關聯的顏色信息建立該關系。

根據特定特性，紋理信息是從利用表示場景的多個圖像的紋理數據更新的紋理映射所獲得的，時間戳與紋理數據相關聯，時間戳取決于用于更新紋理映射的多個圖像中的圖像。

根據特定特性，紋理映射的更新取決于以下信息中的至少一個：

-與關聯于紋理數據的該至少一個第一部分相關聯的法線；

-與紋理數據相關聯的時間戳信息；

-采集設備相對于該至少一個真實對象的位置。

本公開還涉及一種被配置為呈現包括至少一個真實對象的場景的設備，該設備包括存儲器和被配置為執行呈現包括至少一個真實對象的場景的上述方法的操作的至少一個處理器。