[發(fā)明專利]有紋理的神經(jīng)化身

在審

• 申請?zhí)枺?/td>: 201980067447.1
• 申請日: 2019-11-08
• 公開（公告）號: CN112889092A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計）人: 阿利亞卡桑德拉·佩特洛夫納·塞舍亞;卡拉-阿里·阿里布拉托維奇·阿列夫;雷納特·馬拉托維奇·巴什洛夫;艾格爾·安德列維奇·波爾科夫;卡里姆·扎馬洛維奇·伊薩科夫;阿列克謝·亞歷山德羅維奇·伊凡卡內(nèi)科;維科多·謝爾蓋耶維奇·倫皮斯基;尤里·安德列維奇·馬爾科夫;伊戈爾·伊戈列維奇·帕瑟琴尼克;迪米特里·弗拉基米羅維奇·烏里揚諾夫;亞歷山大·蒂姆洛維奇·瓦奇托夫;艾格爾·奧列格維奇·扎哈羅夫
• 申請（專利權(quán)）人: 三星電子株式會社
• 主分類號: G06T15/04
• 分類號: G06T15/04;G06T15/10;G06T7/30;G06N3/08
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 朱志玲;曾世驍

1.一種用于合成人的2D圖像的方法，所述方法包括：

接收在相機(jī)坐標(biāo)系中定義的人的身體關(guān)節(jié)位置的3D坐標(biāo)(S101)，其中，身體關(guān)節(jié)位置的3D坐標(biāo)定義人的姿態(tài)和2D圖像的視點；

基于身體關(guān)節(jié)位置的3D坐標(biāo)使用訓(xùn)練的機(jī)器學(xué)習(xí)預(yù)測器來預(yù)測身體部位分配的圖堆棧和身體部位坐標(biāo)的圖堆棧(S102)，其中，身體部位坐標(biāo)的圖堆棧定義人的身體部位的像素的紋理坐標(biāo)，身體部位分配的圖堆棧定義權(quán)重，其中，每個權(quán)重指示特定像素屬于人的特定身體部位的概率；

從存儲器讀取先前初始化的人的身體部位的紋理的圖堆棧(S103)，其中，紋理的圖堆棧包括人的身體部位的像素的值；以及

通過使用身體部位分配的圖堆棧、身體部位坐標(biāo)的圖堆棧和紋理的圖堆棧，將人的2D圖像重建為像素的值的加權(quán)組合(S104)。

2.根據(jù)權(quán)利要求1所述的方法，其中，獲得訓(xùn)練的機(jī)器學(xué)習(xí)預(yù)測器和先前初始化的人的身體部位的紋理的圖堆棧的步驟包括：

接收處于不同姿態(tài)且來自不同視點的人的多個圖像(S201)；

針對接收的所述多個圖像中的每個圖像，獲得在相機(jī)坐標(biāo)系中定義的人的身體關(guān)節(jié)位置的3D坐標(biāo)(S202)；

基于身體關(guān)節(jié)位置的3D坐標(biāo)和接收的所述多個圖像來初始化機(jī)器學(xué)習(xí)預(yù)測器，以獲得用于預(yù)測身體部位分配的圖堆棧和身體部位坐標(biāo)的圖堆棧的參數(shù)(S203)；

基于身體關(guān)節(jié)位置的3D坐標(biāo)和接收的所述多個圖像來初始化紋理的圖堆棧，并且將紋理的圖堆棧存儲在存儲器中(S204)；

基于身體關(guān)節(jié)位置的3D坐標(biāo)使用機(jī)器學(xué)習(xí)預(yù)測器的當(dāng)前狀態(tài)來預(yù)測身體部位分配的圖堆棧和身體部位坐標(biāo)的圖堆棧(S205)；

通過使用身體部位分配的圖堆棧、身體部位坐標(biāo)的圖堆棧和存儲在存儲器中的紋理的圖堆棧，將人的2D圖像重建為像素的值的加權(quán)組合(S206)；

將重建的2D圖像與來自接收的所述多個圖像內(nèi)的相應(yīng)的真實2D圖像進(jìn)行比較，以揭示重建2D圖像操作的誤差(S207)；

基于比較的結(jié)果更新訓(xùn)練的機(jī)器學(xué)習(xí)預(yù)測器的參數(shù)和紋理的圖堆棧中的像素的值(S208)；以及

重復(fù)步驟S205至步驟S208以重建人的不同2D圖像，直到滿足預(yù)定條件，其中，所述預(yù)定條件是以下條件中的至少一個：執(zhí)行預(yù)定次數(shù)的重復(fù)、預(yù)定時間期滿或重建人的2D圖像的誤差不減小。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，機(jī)器學(xué)習(xí)預(yù)測器是以下神經(jīng)網(wǎng)絡(luò)之一：深度神經(jīng)網(wǎng)絡(luò)、深度卷積神經(jīng)網(wǎng)絡(luò)、深度全卷積神經(jīng)網(wǎng)絡(luò)、利用感知損失函數(shù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)、在生成式對抗框架下訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1或2所述的方法，還包括：

基于身體關(guān)節(jié)位置的3D坐標(biāo)產(chǎn)生光柵化片段的圖堆棧，其中，光柵化片段的圖堆棧中的每個圖包括表示人的身體部位的光柵化片段，

其中，預(yù)測身體部位分配的圖堆棧和身體部位坐標(biāo)的圖堆棧基于光柵化片段的圖堆棧。

5.根據(jù)權(quán)利要求2所述的方法，其中，訓(xùn)練的機(jī)器學(xué)習(xí)預(yù)測器基于另一人的多個圖像針對另一人被重新訓(xùn)練。

6.一種用于合成人的2D圖像的系統(tǒng)，所述系統(tǒng)包括：

處理器；以及

存儲器，包括使處理器實現(xiàn)根據(jù)權(quán)利要求1-5中的任意一項的用于合成人的2D圖像的方法的指令。