[發(fā)明專利]用于生成頭像的介質(zhì)、系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202011023458.0
• 申請日: 2020-09-25
• 公開（公告）號(hào): CN114255316A
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計(jì)）人: A·P·梅森;O·索爾斯;H-P·杜依科;J·S·麥卡滕
• 申請（專利權(quán)）人: 蘋果公司
• 主分類號(hào): G06T15/60
• 分類號(hào): G06T15/60;G06T15/80;G06T15/04;G06T11/00;G06N20/00
• 代理公司: 中國貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 鄒丹

1.一種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，包括能夠由一個(gè)或多個(gè)處理器執(zhí)行以進(jìn)行下述操作的計(jì)算機(jī)可讀指令：

接收環(huán)境的照明的壓縮表示；

從相機(jī)獲得對象的圖像；

基于所述圖像確定所述對象的姿態(tài)；

確定所述對象的幾何表示；

將所述照明的所述壓縮表示、所述對象的所述姿態(tài)和所述幾何表示輸入到推斷著色網(wǎng)絡(luò)中；

基于所述輸入從所述推斷著色網(wǎng)絡(luò)來獲得紋理圖，所述紋理圖表示所述環(huán)境的所述照明中的所述對象的面部的紋理；以及

基于所述對象的所述幾何表示和所述紋理圖來渲染所述對象的頭像。

2.根據(jù)權(quán)利要求1所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述推斷著色網(wǎng)絡(luò)包括照明編碼器和紋理解碼器。

3.根據(jù)權(quán)利要求2所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述照明編碼器將所述輸入轉(zhuǎn)換成紋理潛像，并且其中所述紋理解碼器從所述紋理潛像生成所述紋理圖。

4.根據(jù)權(quán)利要求1所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，還包括用于以下操作的計(jì)算機(jī)可讀代碼：

獲得多個(gè)環(huán)境圖圖像；以及

基于所述環(huán)境圖圖像來訓(xùn)練環(huán)境自動(dòng)編碼器，

其中經(jīng)訓(xùn)練的環(huán)境自動(dòng)編碼器產(chǎn)生一組照明潛像，所述一組照明潛像表示進(jìn)入所述經(jīng)訓(xùn)練的環(huán)境自動(dòng)編碼器的輸入場景的圖像的照明。

5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中用于渲染所述頭像的所述計(jì)算機(jī)可讀代碼還包括用于以下操作的計(jì)算機(jī)可讀代碼：

獲得所述對象的網(wǎng)格表示；以及

將所述紋理圖應(yīng)用于所述網(wǎng)格表示。

6.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述壓縮表示包括所述場景中的照明和顏色的壓縮表示。

7.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述壓縮表示包括選自包括以下各項(xiàng)的組中的至少一者：所述場景的球諧函數(shù)系數(shù)、球高斯和球小波。

8.一種用于生成頭像的系統(tǒng)，包括：

一個(gè)或多個(gè)處理器；以及

非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，包括能夠由所述一個(gè)或多個(gè)處理器執(zhí)行以進(jìn)行下述操作的計(jì)算機(jī)可讀指令：

接收環(huán)境的照明的壓縮表示；

從相機(jī)獲得捕獲用戶的圖像；

基于所述圖像確定所述用戶的頭部姿態(tài)和所述相機(jī)的相機(jī)角度；

確定表示所述用戶的幾何結(jié)構(gòu)的一組網(wǎng)格潛像；

將所述照明的所述壓縮表示、所述頭部姿態(tài)、所述相機(jī)角度和所述網(wǎng)格潛像輸入到推斷著色網(wǎng)絡(luò)中；

基于所述輸入獲得紋理圖，所述紋理圖表示所述用戶的面部在所述環(huán)境的所述照明中的紋理；以及

基于所述紋理圖渲染頭像。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中所述推斷著色網(wǎng)絡(luò)包括照明編碼器和紋理解碼器。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述照明編碼器將所述輸入轉(zhuǎn)換為紋理潛像，并且其中所述紋理解碼器從所述紋理潛像生成所述紋理圖。

11.根據(jù)權(quán)利要求8所述的系統(tǒng)，還包括計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令能夠由所述一個(gè)或多個(gè)處理器執(zhí)行以：

獲得多個(gè)環(huán)境圖像；以及

基于所述環(huán)境圖像來訓(xùn)練環(huán)境自動(dòng)編碼器，

其中經(jīng)訓(xùn)練的環(huán)境自動(dòng)編碼器提供一組照明潛像，所述一組照明潛像表示進(jìn)入所述經(jīng)訓(xùn)練的環(huán)境自動(dòng)編碼器的輸入場景的圖像的照明。

12.根據(jù)權(quán)利要求8-11中任一項(xiàng)所述的系統(tǒng)，其中能夠由所述一個(gè)或多個(gè)處理器執(zhí)行的所述計(jì)算機(jī)可讀指令還包括用于以下操作的計(jì)算機(jī)可讀指令：

獲得所述用戶的網(wǎng)格表示；以及

將所述紋理圖應(yīng)用于所述網(wǎng)格表示。

13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述壓縮表示包括所述場景中的照明和顏色的壓縮表示。