[發明專利]利用深度外觀模型渲染化身的系統和方法

在審

• 申請號: 201880085363.6
• 申請日: 2018-12-20
• 公開（公告）號: CN111542861A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 斯蒂芬·安東尼·隆巴迪;詹森·薩拉吉;亞瑟·謝赫;白鳥貴亮;余守壹;托馬斯·西蒙克羅伊茨;吳城磊
• 申請（專利權）人: 臉譜科技有限責任公司
• 主分類號: G06T15/10
• 分類號: G06T15/10;G06T15/04;G06T13/40
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 陸建萍;楊明釗

1.一種計算機系統，包括：

輸入模塊，其被配置為：

接收幾何結構信息，所述幾何結構信息指示對象的幾何結構在一時間段內的變化，所述時間段包括多個時刻；和

在所述多個時刻的每個時刻接收所述對象的多個圖像，每個圖像與所述對象的相應視點相關聯，并且每個圖像包括所述對象的視圖相關紋理圖，所述視圖相關紋理圖取決于所述對象的相應視點；

自動編碼器，其被配置為：

聯合編碼紋理信息和所述幾何結構信息以提供潛在向量；和

使用所述潛在向量推斷：

相對于預測的視點的所述對象的推斷的幾何結構；和

相對于所述預測的視點的所述對象的推斷的視圖相關紋理；和

渲染模塊，其被配置為使用所述推斷的幾何結構和所述推斷的視圖相關紋理來針對所述預測的視點渲染所述對象的重建圖像。

2.根據權利要求1所述的計算機系統，其中，對于所述多個時刻的每個時刻，所述自動編碼器被配置為對與所述多個圖像相關聯的相應視圖相關紋理圖進行平均。

3.根據權利要求1所述的計算機系統，其中，所述自動編碼器是條件自動編碼器，所述條件自動編碼器被配置為對與每個圖像相關聯的至少一個變量進行調節，并且所述潛在向量不包含關于所述至少一個變量的任何信息。

4.根據權利要求3所述的計算機系統，其中，所述至少一個變量包括與每個圖像相關聯的相應視點，并且所述潛在向量不包含任何視點信息。

5.根據權利要求4所述的計算機系統，其中，所述自動編碼器被配置為通過使用所述潛在向量以及對于所述預測的視點的所述對象的視圖向量來推斷所述推斷的幾何結構和所述推斷的視圖相關紋理。

6.根據權利要求1所述的計算機系統，其中，所述潛在向量包括所述對象的面部表情的表示。

7.根據權利要求1所述的計算機系統，其中，所述幾何結構信息包括在所述時間段內跟蹤的所述對象的三維網格。

8.根據權利要求7所述的計算機系統，其中，對于每個圖像：

所述圖像具有多個像素，每個像素具有相關聯的顏色；和

所述計算機系統被配置為通過將光線投射穿過每個像素并且將相交的紋理坐標分配給每個相應像素的相關聯的顏色來展開所述視圖相關紋理圖。

9.根據權利要求1所述的計算機系統，其中：

所述計算機系統被配置為實時推斷所述推斷的幾何結構和所述推斷的視圖相關紋理，并實時渲染所述對象的一系列動畫化的重建圖像；和

所述一系列動畫化的重建圖像包括用于在虛擬現實(VR)或增強現實(AR)頭戴式裝置上顯示的VR或AR呈現。

10.一種計算機實現的方法，包括：

接收幾何結構信息，所述幾何結構信息指示對象的幾何結構在一時間段內的變化，所述時間段包括多個時刻；

在所述多個時刻的每個時刻接收所述對象的多個圖像，每個圖像與所述對象的相應視點相關聯，并且每個圖像包括所述對象的視圖相關紋理圖，所述視圖相關紋理圖取決于所述對象的相應視點；

由自動編碼器聯合編碼紋理信息和所述幾何結構信息，以提供潛在向量；和

使用所述潛在向量推斷：

相對于預測的視點的所述對象的推斷的幾何結構；和

相對于所述預測的視點的所述對象的推斷的視圖相關紋理；和

使用所述推斷的幾何結構和所述推斷的視圖相關紋理來針對所述預測的視點渲染所述對象的重建圖像。

11.根據權利要求10所述的計算機實現的方法，還包括調節與每個圖像相關聯的相應視點，其中，所述潛在向量不包含任何視點信息。

12.根據權利要求10所述的計算機實現的方法，其中，所述潛在向量包括所述對象的面部表情的表示。