[發(fā)明專利]圖像修復(fù)方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210667582.3
• 申請日: 2022-06-14
• 公開（公告）號: CN114936982A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計）人: 張術(shù);謝中流;丁保陽;鐘凱宇;鄭曌瓊
• 申請（專利權(quán)）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/269;G06T7/70;G06V10/26;G06V10/46;G06V20/40;G06V40/16;G06N3/04
• 代理公司: 深圳市世紀恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胥巧莉

1.一種圖像修復(fù)方法，其特征在于，所述方法包括：

獲取目標人物的完全人臉圖像，并獲取所述目標人物的部分人臉圖像；

基于光流場，驅(qū)動所述部分人臉圖像，得到驅(qū)動后人臉圖像；所述光流場基于所述部分人臉圖像和預(yù)設(shè)驅(qū)動視頻生成；

基于所述完全人臉圖像，修復(fù)所述驅(qū)動后人臉圖像。

2.如權(quán)利要求1所述的方法，其特征在于，所述獲取目標人物的完全人臉圖像，包括：

獲取目標人物的多幀頭部姿態(tài)圖像，并標識所述目標人物的多幀頭部姿態(tài)圖像中的完全人臉關(guān)鍵點，得到多幀關(guān)鍵點圖像；

基于所述完全人臉關(guān)鍵點，從所述多幀關(guān)鍵點圖像中確定關(guān)鍵點數(shù)量最大的幀為基準圖像；

基于預(yù)設(shè)臉部要素分割需求，分割每一幀關(guān)鍵點圖像，得到所述每一幀關(guān)鍵點圖像的多張臉部要素圖像；每一張臉部要素圖像分別對應(yīng)一個臉部要素；

基于所述多張臉部要素圖像，確定所述完全人臉圖像。

3.如權(quán)利要求2所述的方法，其特征在于，所述多張臉部要素圖像包括多張非基準臉部要素圖像和多張基準臉部要素圖像，所述多張基準臉部要素圖像由所述基準圖像分割得到，所述基于所述多張臉部要素圖像，確定所述完全人臉圖像，包括：

遍歷所述多張非基準臉部要素圖像，若所述多張非基準臉部要素圖像中存在關(guān)鍵點數(shù)量大于或等于預(yù)設(shè)關(guān)鍵點數(shù)量閾值的目標非基準臉部要素圖像，則獲取所述目標非基準臉部要素圖像的非基準臉部要素；

替換臉部要素為所述非基準臉部要素的基準臉部要素圖像為所述目標非基準臉部要素圖像，得到更新的基準圖像；

在遍歷結(jié)束后，確定所述更新的基準圖像為所述完全人臉圖像。

4.如權(quán)利要求1所述的方法，其特征在于，所述基于光流場，驅(qū)動所述部分人臉圖像，得到驅(qū)動后人臉圖像之前，包括：

提取所述部分人臉圖像中的部分人臉關(guān)鍵點，并分別提取所述預(yù)設(shè)驅(qū)動視頻中每一幀圖像的驅(qū)動人臉關(guān)鍵點；

確定所述部分人臉關(guān)鍵點和所述驅(qū)動人臉關(guān)鍵點之間的矢量變化關(guān)系，得到所述光流場。

5.如權(quán)利要求1所述的方法，其特征在于，所述光流場至少包括表征人物頭部角度變化的頭部角度光流場，所述基于光流場，驅(qū)動所述部分人臉圖像，得到驅(qū)動后人臉圖像，包括：

基于所述頭部角度光流場，調(diào)整所述部分人臉圖像中的人物頭部角度，得到驅(qū)動后人臉圖像。

6.如權(quán)利要求5所述的方法，其特征在于，所述光流場還包括表征臉部要素變化的臉部要素光流場，所述基于所述完全人臉圖像，修復(fù)所述驅(qū)動后人臉圖像，包括：

獲取所述預(yù)設(shè)驅(qū)動視頻中驅(qū)動圖像的人物頭部角度；

確定所述臉部要素光流場對應(yīng)的待修復(fù)臉部要素；

基于所述完全人臉圖像、所述人物頭部角度和所述待修復(fù)臉部要素，修復(fù)所述驅(qū)動后人臉圖像。

7.如權(quán)利要求1所述的方法，其特征在于，所述基于光流場，驅(qū)動所述部分人臉圖像，得到驅(qū)動后人臉圖像，包括：

遍歷所述預(yù)設(shè)驅(qū)動視頻中的每一幀驅(qū)動圖像；

基于遍歷到的驅(qū)動圖像，驅(qū)動所述部分人臉圖像，得到多張驅(qū)動后人臉圖像；所述目標人物在由所述多張驅(qū)動后人臉圖像組成的視頻中的動作與所述預(yù)設(shè)驅(qū)動視頻中的人物的動作相同。

8.一種圖像修復(fù)裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取目標人物的完全人臉圖像，并獲取所述目標人物的部分人臉圖像；

驅(qū)動模塊，用于基于光流場，驅(qū)動所述部分人臉圖像，得到驅(qū)動后人臉圖像；所述光流場基于所述部分人臉圖像和預(yù)設(shè)驅(qū)動視頻生成；

修復(fù)模塊，用于基于所述完全人臉圖像，修復(fù)所述驅(qū)動后人臉圖像。

9.一種圖像修復(fù)設(shè)備，其特征在于，所述圖像修復(fù)設(shè)備包括存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的圖像修復(fù)程序，所述圖像修復(fù)程序被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的圖像修復(fù)方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有圖像修復(fù)程序，所述圖像修復(fù)程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述的圖像修復(fù)方法的步驟。