[發明專利]利用深度外觀模型渲染化身的系統和方法

在審

• 申請號: 201880085363.6
• 申請日: 2018-12-20
• 公開（公告）號: CN111542861A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 斯蒂芬·安東尼·隆巴迪;詹森·薩拉吉;亞瑟·謝赫;白鳥貴亮;余守壹;托馬斯·西蒙克羅伊茨;吳城磊
• 申請（專利權）人: 臉譜科技有限責任公司
• 主分類號: G06T15/10
• 分類號: G06T15/10;G06T15/04;G06T13/40
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 陸建萍;楊明釗

被公開的計算機系統可以包括輸入模塊、自動編碼器和渲染模塊。輸入模塊可以接收對象的幾何結構信息和圖像。幾何結構信息可以指示對象的幾何結構隨時間的變化。每個圖像可以與相應的視點相關聯，并且可以包括對象的視圖相關紋理圖。自動編碼器可以聯合編碼紋理信息和幾何結構信息以提供潛在向量。自動編碼器可以使用該潛在向量來針對預測的視點推斷對象的推斷的幾何結構和推斷的視圖相關紋理。渲染模塊可以被配置為使用推斷的幾何結構和推斷的視圖相關紋理來針對預測的視點渲染對象的重建圖像。還公開了各種其他系統和方法。

相關申請的交叉引用

本申請要求于2018年7月31日提交的第16/049,848號美國非臨時申請和于2018年1月8日提交的第62/614,776號美國臨時申請的權益，該非臨時申請和臨時申請的公開通過此引用以其整體并入。

背景

隨著現代虛擬現實(VR)和增強現實(AR)頭戴式裝置(headset)的出現，需要改進的計算機圖形模型以增強沉浸感。對于沉浸式社交體驗來說，人臉可能特別具有挑戰性，但卻至關重要。例如，為了提供具有面對面互動的豐富度和深度的虛擬體驗，參與者之間的社交信號的細微差別應該被準確地捕獲和顯示。然而，實現人臉的實時渲染已表明是一項艱巨的任務。例如，人臉可能包含可能難以建模的精細幾何結構，如睫毛、毛孔和絨毛。這些因素和其他因素可能使得難以提供動態和社交互動場景的照片級真實感渲染。

概述

如下面將更詳細描述的，本公開描述了利用深度外觀模型來將人臉和其他對象渲染為用于VR/AR呈現的化身(avatar)。

在一個示例中，一種計算機系統可以包括輸入模塊、自動編碼器和渲染模塊。輸入模塊可以被配置為接收幾何結構信息和多個圖像。幾何結構信息可以指示對象的幾何結構在一時間段內的變化，并且該時間段可以包括多個時刻。接收到的多個圖像可以是在多個時刻的每個時刻對象的多個圖像，并且每個圖像可以與對象的相應視點相關聯。每個圖像可以包括對象的視圖相關紋理圖(view-dependent texture map)，該視圖相關紋理圖取決于對象的相應視點。自動編碼器可以被配置為聯合編碼紋理信息和幾何結構信息以提供潛在向量(latent vector)。自動編碼器還可以被配置為使用潛在向量來推斷相對于預測的視點的對象的推斷的幾何結構以及相對于預測的視點的對象的推斷的視圖相關紋理。渲染模塊可以被配置為使用推斷的幾何結構和推斷的視圖相關紋理來針對預測的視點渲染對象的重建圖像。

在一些實施例中，對于多個時刻的每個時刻，自動編碼器可以被配置為對與多個圖像相關聯的相應視圖相關紋理圖進行平均。自動編碼器可以是條件自動編碼器，并且自動編碼器可以被配置為調節與每個圖像相關聯的至少一個變量。在一些實施例中，潛在向量可以不包含關于該至少一個變量的任何信息。另外，該至少一個變量可以包括與每個圖像相關聯的相應視點，并且潛在向量可以不包含任何視點信息。

在一些實施例中，潛在向量可以包括對象的面部表情的表示。在一些實施例中，幾何結構信息可以包括在該時間段內跟蹤的對象的三維網格。在一些實施例中，圖像可以具有多個像素，每個像素可以具有相關聯的顏色，并且計算機系統可以被配置為通過將光線投射穿過每個像素并將相交的紋理坐標分配給每個相應像素的顏色來展開視圖特定紋理圖。在一些實施例中，計算機系統可以被配置為實時推斷該推斷的幾何結構和推斷的視圖相關紋理，并實時渲染對象的一系列動畫化的重建圖像。所渲染的一系列動畫化的重建圖像可以包括用于在虛擬現實(VR)或增強現實(AR)(VR/AR)頭戴式裝置上顯示的VR或AR呈現。