[發明專利]圖像特征遷移方法、裝置、存儲介質及終端設備

有效

• 申請號: 202111107780.6
• 申請日: 2021-09-22
• 公開（公告）號: CN113838166B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 唐吉霖;袁燚;胡志鵬
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06T7/11;G06T7/44;G06V10/46;G06V20/70;G06V10/54;G06V10/778;G06V10/82
• 代理公司: 深圳紫藤知識產權代理有限公司 44570
• 代理人: 汪阮磊

1.一種圖像特征遷移方法，其特征在于，包括：

獲取源人體圖像和目標人體姿態圖；

基于所述源人體圖像和目標人體姿態圖，構建與所述目標人體姿態圖對應的目標人體語義分割圖及目標人體姿態特征圖；

從所述源人體圖像中提取出源人體紋理特征；

從所述源人體紋理特征中獲取所述源人體圖像的各個關鍵區域的紋理特征編碼；

將所述各個關鍵區域的紋理特征編碼分別轉化成對應的權重參數；

利用所述各個關鍵區域對應的權重參數，通過分區域卷積操作，將所述源人體圖像的源人體紋理特征遷移至所述目標人體姿態特征圖的相應位置，得到目標特征圖；

對所述目標特征圖進行解碼操作，得到結合所述源人體紋理特征和目標人體姿態圖的目標人體圖像。

2.如權利要求1所述的圖像特征遷移方法，其特征在于，所述利用所述各個關鍵區域對應的權重參數，通過分區域卷積操作，將所述源人體圖像的源人體紋理特征遷移至所述目標人體姿態特征圖的相應位置，得到目標特征圖，包括：

從所述源人體圖像中提取出源人體語義分割圖；

基于所述目標人體語義分割圖，利用所述源人體圖像的各個關鍵區域的紋理特征編碼和對應的權重參數，分別在所述目標人體姿態特征圖上與各個關鍵區域對應的區域進行分區域卷積操作，以得到將所述源人體圖像的源人體紋理特征遷移至所述目標人體姿態特征圖相應位置的目標特征圖。

3.如權利要求2所述的圖像特征遷移方法，其特征在于，所述從所述源人體紋理特征中獲取所述源人體圖像的各個關鍵區域的紋理特征編碼，包括：

使用空間逐點相乘法對所述源人體紋理特征中各關鍵區域的人體紋理特征進行處理，得到所述各個關鍵區域的原始紋理特征；

對所述各個關鍵區域的原始紋理特征分別進行平均池化操作，得到各個關鍵區域的向量形式的紋理特征編碼。

4.如權利要求1所述的圖像特征遷移方法，其特征在于，所述基于所述源人體圖像和目標人體姿態圖，構建與所述目標人體姿態圖對應的目標人體語義分割圖，包括：

從所述源人體圖像中提取出源人體語義分割圖和源人體姿態圖；

基于所述源人體語義分割圖、所述源人體姿態圖及所述目標人體姿態圖進行語義分割圖構建操作，構建與所述目標人體姿態圖對應的目標人體語義分割圖。

5.如權利要求4所述的圖像特征遷移方法，其特征在于，所述從所述源人體圖像中提取出源人體語義分割圖和源人體姿態圖，包括：

識別所述源人體圖像中人體的各個關鍵區域；

采用語義分割算法對所述源人體圖像中人體的各個關鍵區域進行語義分割得到所述源人體語義分割圖；及

識別所述源人體圖像中人體的各個關鍵點；

采用姿勢估計提取算法對所述源人體圖像中人體的各個關鍵點進行提取得到所述源人體姿態圖。

6.如權利要求4所述的圖像特征遷移方法，其特征在于，所述基于所述源人體語義分割圖、所述源人體姿態圖及所述目標人體姿態圖進行語義分割圖構建操作，構建與所述目標人體姿態圖對應的目標人體語義分割圖，包括：

將所述源人體語義分割圖、所述源人體姿態圖及所述目標人體姿態圖作為同一圖像的不同圖像通道中的圖像進行拼接，得到輸入圖像；

將所述輸入圖像輸入至編碼器進行編碼操作，得到語義特征圖；

將所述語義特征圖輸入至解碼器進行解碼操作，得到所述目標人體語義分割圖。

7.如權利要求1所述的圖像特征遷移方法，其特征在于，從所述源人體圖像中提取出源人體紋理特征，包括：

從所述源人體圖像中提取出濾除不包含特定干擾特征的源人體紋理特征；

所述特定干擾特征包括從預設類型的目標紋理中提取出的特征，所述目標紋理對應的頻率范圍為目標頻率范圍，所述從所述源人體圖像中提取出濾除不包含特定特征的源人體紋理特征，包括：

通過紋理編碼器的濾波層對所述源人體圖像進行過濾和編碼處理，得到人體紋理特征，所述濾波層的濾波范圍包括所述目標頻率范圍；

通過所述紋理編碼器的若干卷積層對所述人體紋理特征進行卷積處理，得到所述源人體紋理特征。