[發明專利]一種人臉修復模型訓練方法及裝置

在審

• 申請號: 202010969607.6
• 申請日: 2020-09-15
• 公開（公告）號: CN112102194A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 李果;熊寶玉
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張柳

本申請提供一種人臉修復模型訓練方法及裝置，獲取第一人臉圖像，第一人臉圖像是圖像解碼模型對輸入的第一特征向量進行解碼后得到；通過降低第一人臉圖像的圖像質量，得到第二人臉圖像；調用初始圖像編碼模型對第二人臉圖像進行編碼，得到第二人臉圖像對應的第二特征向量；基于第二特征向量相對于第一特征向量的差別信息，對初始圖像編碼模型進行訓練，得到圖像編碼模型，由此可以由圖像編碼模型接入一個圖像質量較低的人臉圖像，向圖像解碼模型提供特征向量，由圖像解碼模型輸出一個圖像質量提高的人臉圖像，以將目前具有顯著效果的圖像解碼模型應用到人臉修復模型中，在提高人臉修復效果的同時擴大圖像解碼模型的應用范圍。

技術領域

本申請屬于模型技術領域，尤其涉及一種人臉修復模型訓練方法及裝置。

背景技術

相關技術中，圖像解碼模型能夠以特征向量為輸入，輸出高清人臉圖像，如StyleGan網絡模型是NVIDIA推出的一個高清人臉生成模型，StyleGan網絡模型可以作為圖像解碼模型使用，StyleGan網絡模型以隨機特征向量作為輸入，可以最高輸出1024*1024的高清人臉圖像。隨著圖像解碼模型在人臉生成方向取得的顯著效果，如何與人臉生成相接近的人臉修復領域中使用圖像解碼模型是目前亟需解決的問題。

發明內容

有鑒于此，本申請的目的在于提供一種人臉修復型訓練方法及裝置，用于在提高人臉修復效果的同時擴大圖像解碼模型的應用范圍。

一方面，本申請提供一種人臉修復模型訓練方法，所述人臉修復模型包括圖像編碼模型和圖像解碼模型，所述方法包括：

獲取第一人臉圖像，所述第一人臉圖像是所述圖像解碼模型對輸入的第一特征向量進行解碼后得到；

通過降低所述第一人臉圖像的圖像質量，得到第二人臉圖像；

調用初始圖像編碼模型對所述第二人臉圖像進行編碼，得到所述第二人臉圖像對應的第二特征向量；

基于所述第二特征向量相對于所述第一特征向量的差別信息，對所述初始圖像編碼模型進行訓練，得到所述圖像編碼模型。

可選的，所述圖像解碼模型是預先對初始圖像解碼模型以隨機數生成的特征向量進行訓練得到。

可選的，所述預先對初始圖像解碼模型以隨機數生成的特征向量進行訓練的過程包括：

根據第一隨機數生成第三特征向量；

調用所述初始圖像解碼模型對所述第三特征向量進行解碼，得到第三人臉圖像；

調用初始判別模型，對所述第三人臉圖像和預設人臉圖像進行圖像質量的判別，得到針對所述第三人臉圖像的第一判別結果和針對所述預設人臉圖像的第二判別結果，所述預設人臉圖像與所述第一人臉圖像具有相同的第一圖像質量；

若根據所述第一判別結果確定所述第三人臉圖像不具有所述第一圖像質量，基于所述第一判別結果對所述初始圖像解碼模型進行訓練；

若根據所述第二判別結果確定所述預設人臉圖像不具有所述第一圖像質量，基于所述第二判別結果對所述初始判別模型進行訓練。

可選的，還包括：

在完成所述初始圖像編碼模型的訓練后，獲取第四人臉圖像和所述第四人臉圖像對應的第五人臉圖像，所述第四人臉圖像與所述第二人臉圖像具有相同的第二圖像質量，所述第五人臉圖像具有第一圖像質量；

調用所述圖像編碼模型對所述第四人臉圖像進行編碼，以得到第四特征向量；

調用所述圖像解碼模型對所述第四特征向量進行解碼，得到第六人臉圖像；

調用通過初始判別模型訓練得到的判別模型，對所述第六人臉圖像和預設人臉圖像進行圖像質量的判別，得到針對所述第六人臉圖像和針對所述預設人臉圖像的第三判別結果；