[發明專利]人臉圖像的超分辨率重建模型的訓練及重建方法

在審

• 申請號: 202011582052.6
• 申請日: 2020-12-28
• 公開（公告）號: CN112581370A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 姚佳麗;胡旭陽;李瑮
• 申請（專利權）人: 蘇州科達科技股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張琳琳

本發明涉及圖像處理技術領域，具體涉及人臉圖像的超分辨率重建模型的訓練及重建方法，所述訓練方法包括獲取第一樣本圖像以及所述第一樣本圖像對應的第二樣本圖像，所述第一樣本圖像的分辨率高于所述第二樣本圖像的分辨率；將所述第二樣本圖像輸入超分辨率重建模型中，得到第一重建圖像；計算所述第一重建圖像以及所述第一樣本圖像的先驗信息，并確定人臉先驗信息損失；根據所述人臉先驗信息損失，對所述超分辨率重建模型的參數進行更新，以確定目標超分辨率重建模型。結合圖像的先驗信息對模型進行訓練，可以得到更加真實的人臉，五官輪廓更加清晰，表情也很自然，有效提升了人臉超分的效果。

技術領域

本發明涉及圖像處理技術領域，具體涉及人臉圖像的超分辨率重建模型的訓練及重建方法。

背景技術

在一些人員復雜的場所中，比如游樂場、大型商場等，容易發生違法事件，因此經常需要從監控圖像中查找一些可能具有特殊身份的人。但由于環境光照不穩定、行人姿態表情多樣、與攝像頭之間的距離比較遠、攝像頭成像分辨率的局限性等客觀原因，會導致圖像中的行人無法被準確識別。人臉作為人身份特征的最敏感區域，成為對特定身份識別的最關鍵部位，因此，如何將低分辨率、低清晰度、帶有噪聲和光污染后的人臉重建出高分辨率、高清晰度的圖像，以輔助進一步的人臉識別和分析任務，成為監控領域中人臉圖像的超分辨率(Face Super-resolution，簡稱為Face SR)重建的目標。

現有圖像的超分辨率重建方法一般是使用插值算法對原始圖像進行上采樣，從而獲得分辨率放大后的圖像。這樣操作之后得到的圖像的分辨率雖然被放大了，但是原始圖像上存在的噪聲也被放大了，反而不利于后續的任務。另外，目前部分方案可以做到既能提升圖像的分辨率，也能去除原始圖像中的噪聲，但是大部分是針對通用場景的圖像，比如自然風景圖像。然而由于人臉區域帶有很明顯的類別特征，若將用于通用場景圖像的超分辨率重建方法直接應用到人臉圖像中其重建效果甚微。

發明內容

有鑒于此，本發明實施例提供了一種人臉圖像的超分辨率重建模型的訓練及重建方法，以解決將通用場景下的超分辨率重建方法直接應用到人臉圖像中重建效率甚微的問題。

根據第一方面，本發明實施例提供了一種人臉圖像的超分辨率重建模型的訓練方法，包括：

獲取第一樣本圖像以及所述第一樣本圖像對應的第二樣本圖像，所述第一樣本圖像的分辨率高于所述第二樣本圖像的分辨率；

將所述第二樣本圖像輸入超分辨率重建模型中，得到第一重建圖像；

計算所述第一重建圖像以及所述第一樣本圖像的先驗信息，并確定人臉先驗信息損失；

根據所述人臉先驗信息損失，對所述超分辨率重建模型的參數進行更新，以確定目標超分辨率重建模型。

本發明實施例提供的人臉圖像的超分辨率重建模型的訓練方法，在對超分辨率重建模型的訓練過程中，結合圖像的先驗信息對模型進行訓練，可以得到更加真實的人臉，五官輪廓更加清晰，表情也很自然，有效提升了人臉超分的效果。

結合第一方面，在第一方面第一實施方式中，所述根據所述人臉先驗信息損失，對所述超分辨率重建模型的參數進行更新，以確定目標超分辨率重建模型，包括：

獲取所述第二樣本圖像的亮度重建數據，所述亮度重建數據為所述超分辨重建模型對所述第二樣本圖像的亮度數據進行重建得到的；

基于所述第二樣本圖像的亮度重建數據以及所述第一樣本圖像的亮度數據，確定像素損失；

利用所述像素損失以及所述人臉先驗信息損失，確定聯合損失；

基于所述聯合損失，對所述超分辨率重建模型的參數進行更新，以確定目標超分辨率重建模型。