[發(fā)明專利]圖像的處理方法及裝置、數(shù)據(jù)處理方法

在審

• 申請?zhí)枺?/td>: 202010530179.7
• 申請日: 2020-06-11
• 公開（公告）號: CN113808002A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設計）人: 王攀;高占寧;任沛然;謝宣松
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06Q30/06;G06T11/00
• 代理公司: 北京博浩百睿知識產(chǎn)權代理有限責任公司 11134
• 代理人: 謝湘寧;張文華

本申請公開了一種圖像的處理方法及裝置、數(shù)據(jù)處理方法。其中，該方法包括：接收目標對象的第一外觀圖和目標姿態(tài)的姿態(tài)信息，其中，第一外觀圖為目標對象在當前姿態(tài)下的圖像，目標姿態(tài)為目標對象從當前姿態(tài)進行轉換后的姿態(tài)；基于第一外觀圖和目標姿態(tài)的姿態(tài)信息，生成目標對象轉換為目標姿態(tài)時的第二外觀圖；使用全局殘差網(wǎng)絡模型對第二外觀圖和第一外觀圖進行處理，生成目標對象在目標姿態(tài)下的第三外觀圖，第三外觀圖的細節(jié)特征多于第二外觀圖的細節(jié)特征。本申請解決了由于目前將模特在當前姿勢上的圖像遷移至其他的目標姿勢的模型采用單階段網(wǎng)絡造成的在姿態(tài)遷移的過程中存在信息缺失，紋理效果單一的技術問題。

技術領域

本申請涉及圖像合成領域，具體而言，涉及一種圖像的處理方法及裝置、數(shù)據(jù)處理方法。

背景技術

電商場景下，用戶希望看到服裝上身的多姿態(tài)多角度展示，但是越多越全面的姿勢擺拍也就意味著越大的運營和時間投入。為此通過訓練一個生成模型，將模特在當前姿勢上的圖像遷移到其他的目標姿勢上去，實現(xiàn)對于衣著等商品的全面展示。

目前將模特在當前姿勢上的圖像遷移至其他的目標姿勢的模型一般采用基于深度學習生成對抗模型(Generative A dversatial Networks，GAN)，這種人體姿態(tài)轉換模型采用單階段網(wǎng)絡，一步式轉換人體姿態(tài)，但是在外觀細節(jié)，如頭發(fā)，衣服紋理，鞋子等細節(jié)嚴重丟失，這種單階段網(wǎng)絡在高層語義如人體姿態(tài)遷移上能完成的較好，但是對于低級語義信息的細節(jié)紋理恢復較差。

針對目前將模特在當前姿勢上的圖像遷移至其他的目標姿勢的模型采用單階段網(wǎng)絡，在姿態(tài)遷移的過程中存在信息缺失，紋理效果單一的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請實施例提供了一種圖像的處理方法及裝置、數(shù)據(jù)處理方法，以至少解決由于目前將模特在當前姿勢上的圖像遷移至其他的目標姿勢的模型采用單階段網(wǎng)絡造成的在姿態(tài)遷移的過程中存在信息缺失，紋理效果單一的技術問題。

根據(jù)本申請實施例的一個方面，提供了一種圖像的處理方法，包括：獲取目標對象的第一圖像和目標旋轉角度；按照目標旋轉角度對第一圖像進行旋轉，生成第二圖像；基于第一圖像和第二圖像，生成目標對象對應的目標圖像，目標圖像的細節(jié)特征多于第一圖像的細節(jié)特征，其中，第二圖像和目標圖像均包括目標對象旋轉目標旋轉角度后的姿態(tài)信息。

根據(jù)本申請實施例的另一方面，還提供了另一種圖像的處理方法，包括：獲取目標對象對應的第一多媒體數(shù)據(jù)，以及用于對第一多媒體數(shù)據(jù)中目標部位進行轉換的轉換描述數(shù)據(jù)，其中，目標部位為目標對象的任意一個部位；基于第一多媒體數(shù)據(jù)和轉換描述數(shù)據(jù)，生成目標對象對應的第一圖像，其中，第一圖像中包括對目標部位按照轉換描述數(shù)據(jù)進行轉換后的圖像；基于第一多媒體數(shù)據(jù)和第一圖像，生成目標對象對應的第二圖像，第二圖像中包括對目標部位按照轉換描述數(shù)據(jù)進行轉換后的圖像，第二圖像中目標部位的細節(jié)特征多于第一圖像中目標部位的細節(jié)特征。

根據(jù)本申請實施例的另一方面，還提供了另一種圖像的處理方法，包括：獲取在相鄰采樣時刻采集的第一目標對象的多個圖像；確定多個圖像中第一目標對象的姿態(tài)變化信息；獲取第二目標對象的第一圖像；依據(jù)姿態(tài)變化信息對第一圖像進行轉換，生成第二圖像；基于第一圖像和第二圖像，生成第二目標對象對應的目標圖像，目標圖像的細節(jié)特征多于第一圖像的細節(jié)特征。

根據(jù)本申請實施例的另一方面，提供了另一種圖像的處理方法，包括：接收目標對象的第一外觀圖和目標姿態(tài)的姿態(tài)信息，其中，第一外觀圖為目標對象在當前姿態(tài)下的圖像，目標姿態(tài)為目標對象從當前姿態(tài)進行轉換后的姿態(tài)；基于第一外觀圖和目標姿態(tài)的姿態(tài)信息，生成目標對象轉換為目標姿態(tài)時的第二外觀圖；使用全局殘差網(wǎng)絡模型對第二外觀圖和第一外觀圖進行處理，生成目標對象在目標姿態(tài)下的第三外觀圖，所述第三外觀圖的細節(jié)特征多于所述第二外觀圖的細節(jié)特征。