[發明專利]一種人物圖像的修復方法、裝置及電子設備

在審

• 申請號: 202110089245.6
• 申請日: 2021-01-22
• 公開（公告）號: CN112785524A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 鄒智康;葉曉青;陳曲;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/10;G06T3/00;G06T3/40
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

1.一種人物圖像的修復方法，包括：

獲取待處理的圖片，所述待處理的圖片中包括待修復的人物圖像；

根據所述待處理的圖片生成所述待修復的人物圖像對應的人體三維模型、相機參數和人體姿態信息；

根據所述待處理的圖片生成所述待修復的人物圖像對應的分割圖像；

根據所述人體三維模型、所述相機參數、所述人體姿態信息和所述分割圖像，生成所述待修復的人物圖像對應的修復后人物圖像。

2.根據權利要求1所述的修復方法，其中，所述根據所述待處理的圖片生成所述待修復的人物圖像對應的人體三維模型、相機參數和人體姿態信息，包括：

將所述待處理的圖片輸入至人體參數化模型，生成所述待修復的人物圖像對應的所述人體三維模型、所述相機參數和所述人體姿態信息。

3.根據權利要求2所述的修復方法，其中，所述人體參數化模型為蒙皮多人線性表達模型。

4.根據權利要求1所述的修復方法，其中，所述根據所述待處理的圖片生成所述待修復的人物圖像對應的分割圖像，包括：

將所述待處理的圖片輸入至實例分割網絡模型，生成所述待修復的人物圖像對應的所述分割圖像。

5.根據權利要求1所述的修復方法，其中，所述根據所述人體三維模型、所述相機參數、所述人體姿態信息和所述分割圖像，生成所述待修復的人物圖像對應的修復后人物圖像，包括：

根據所述相機參數和所述人體姿態信息將所述人體三維模型投影到所述待修復的人物圖像上，得到所述待修復的人物圖像對應的投影圖像；

根據所述投影圖像和所述分割圖像生成所述待修復的人物圖像對應的所述修復后人物圖像。

6.根據權利要求5所述的修復方法，其中，所述根據所述相機參數和所述人體姿態信息將所述人體三維模型投影到所述待修復的人物圖像上，得到所述待修復的人物圖像對應的投影圖像，包括：

根據所述人體姿態信息將所述人體三維模型投影到相機坐標系，得到所述相機坐標系下的人體三維模型；

根據所述相機參數和所述人體姿態信息將所述相機坐標系下的人體三維模型投影到所述待修復的人物圖像上，得到所述待修復的人物圖像對應的所述投影圖像。

7.根據權利要求5所述的修復方法，其中，所述根據所述投影圖像和所述分割圖像生成所述待修復的人物圖像對應的所述修復后人物圖像，包括：

根據所述投影圖像和所述分割圖像生成標記有顏色信息的人體三維模型；

將所述標記有顏色信息的人體三維模型渲染成二維渲染圖片；

根據所述分割圖像對所述二維渲染圖片和所述待處理的圖片進行拼接，得到所述待修復的人物圖像對應的所述修復后人物圖像。

8.根據權利要求7所述的修復方法，其中，所述根據所述投影圖像和所述分割圖像生成標記有顏色信息的人體三維模型，包括：

所述投影圖像中的投影點在所述分割圖像中，則將所述待處理的圖片中與所述投影點對應位置的顏色信息，標記為所述人體三維模型中與所述投影點對應的頂點的顏色信息；

所述投影圖像中的投影點不在所述分割圖像中，則獲取所述投影點在人體參數化模型中的對稱點，并將所述待處理的圖片中與所述對稱點對應位置的顏色信息，標記為所述人體三維模型中與所述投影點對應的頂點的顏色信息。

9.根據權利要求7所述的修復方法，其中，所述根據所述分割圖像對所述二維渲染圖片和所述待處理的圖片進行拼接，得到所述待修復的人物圖像對應的所述修復后人物圖像，包括：

將所述待處理的圖片中與所述分割圖像中的點對應的點與所述二維渲染圖片中與所述分割圖像中的點不對應的點進行拼接，得到所述待修復的人物圖像對應的所述修復后人物圖像。