[發明專利]用于生成頭像的介質、系統和方法

在審

• 申請號: 202011023458.0
• 申請日: 2020-09-25
• 公開（公告）號: CN114255316A
• 公開（公告）日: 2022-03-29
• 發明（設計）人: A·P·梅森;O·索爾斯;H-P·杜依科;J·S·麥卡滕
• 申請（專利權）人: 蘋果公司
• 主分類號: G06T15/60
• 分類號: G06T15/60;G06T15/80;G06T15/04;G06T11/00;G06N20/00
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 鄒丹

本公開涉及用于生成頭像的介質、系統和方法。在所選擇的環境中渲染頭像可包括確定要由頭像、頭部姿態和相機角度表示的表情幾何結構以及用于所選擇的環境的照明表示作為到推斷著色網絡中的輸入。推斷著色網絡然后可生成要用于渲染頭像的面部紋理。照明表示可作為從環境自動編碼器獲得的照明潛變量來獲得，該環境自動編碼器訓練具有各種照明條件的環境圖像。

技術領域

本公開整體涉及圖像處理。更具體地，但并非以限制的方式，本公開涉及用于生成和利用機器學習以改善的著色渲染頭像的技術和系統。

背景技術

表示用戶并由用戶控制的計算機化字符通常被稱為頭像。頭像可采取多種形式，包括虛擬人類、動物和植物生命。一些計算機產品包括具有由用戶的面部表情驅動的面部表情的頭像。基于面部的頭像的一個用途是通信，其中第一設備中的相機和麥克風將第一用戶的音頻和實時2D或3D頭像傳輸至一個或多個第二用戶，諸如其他移動設備、臺式計算機、視頻會議系統等。已知的現有系統往往是計算密集型的，需要高性能通用和圖形處理器，并且通常對移動設備諸如智能電話或計算平板電腦不太有效。此外，現有的頭像系統通常不提供傳達細微差別面部表示或情緒狀態的能力。

發明內容

一些實施方案提供了一種用于生成頭像的方法。該方法包括：接收環境的照明的壓縮表示；從相機獲得捕獲用戶的圖像；基于所述圖像確定所述用戶的頭部姿態和所述相機的相機角度；確定表示所述用戶的幾何結構的一組網格潛像；將所述照明的所述壓縮表示、所述頭部姿態、所述相機角度和所述一組網格潛像輸入到推斷著色網絡中；基于所述輸入從推斷著色網絡獲得紋理圖，所述紋理圖表示所述用戶的面部在所述環境的所述照明中的紋理；以及基于所述紋理圖渲染頭像。

一些實施方案提供了一種計算機實現的方法。該方法包括獲得多個環境圖圖像以及基于所述環境圖圖像來訓練環境自動編碼器。所述經訓練的環境自動編碼器提供一組照明潛像，所述一組照明潛像表示進入所述經訓練的環境自動編碼器的輸入場景的圖像的照明。

一些實施方案提供了一種計算機可讀介質，該計算機可讀介質包括可由一個或多個處理器執行以執行上述方法中任一種的計算機可讀代碼。

一些實施方案提供了一種計算機系統，該計算機系統包括一個或多個處理器和包括計算機可讀指令的非暫態計算機可讀介質。計算機可讀指令可由一個或多個處理器執行以執行上述方法中的任一種。

一些實施方案提供了一種電子裝置，該電子裝置包括用于執行上述方法中任一種的單元。

附圖說明

圖1以框圖形式示出了根據一個或多個實施方案的簡化系統圖。

圖2示出了根據一個或多個實施方案的其中生成推斷著色網絡的流程圖。

圖3示出了根據一個或多個實施方案的使用照明表示的推斷著色網絡的訓練操作。

圖4示出了根據一個或多個實施方案的使用環境自動編碼器的推斷著色網絡訓練技術。

圖5示出了根據一個或多個實施方案的示出虛擬對象生成的流程圖。

圖6示出了根據一個或多個附加實施方案的示出頭像生成的流程圖。

圖7以框圖形式示出了根據一個或多個實施方案的多功能電子設備。

圖8以框圖形式示出了根據一個或多個實施方案的計算機系統。

具體實施方式