[發明專利]一種人像超分辨率重建方法

在審

• 申請號: 202010464604.7
• 申請日: 2020-05-28
• 公開（公告）號: CN111626937A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 賈宇;沈宜;張家亮;陳鵬;董弋粲
• 申請（專利權）人: 成都三零凱天通信實業有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 錢成岑

本發明公開了一種人像超分辨率重建方法，包括如下步驟：步驟1，獲取人像高分辨率圖像；步驟2，對獲取的人像高分辨率圖像重建，以得到與之對應的人像低分辨率圖像；步驟3，對人像高分辨率圖像和與之對應的人像低分辨率圖像進行圖像預處理；步驟4，把圖像預處理后的人像高分辨率圖像和與之對應的人像低分辨率圖像作為成對人像，將所述成對人像輸入深度神經網絡進行訓練，學習人像低分辨率圖像與人像高分辨率圖像之間的特征映射，訓練完成后得到人臉圖片超分辨重建模型；步驟5，將測試圖像輸入人臉圖片超分辨重建模型進行人臉圖片超分辨重建。本發明實現了基于深度神經網絡的人像超分辨率重建方法。

技術領域

本發明涉及人臉超分辨率重建的技術，特別涉及一種基于人臉選取與人臉修改相結合、網絡結構修整的多通道的人像超分辨率重建方法。

背景技術

圖像超分辨率(SR)問題，尤其是單一圖像超分辨率(SISR)問題，在近幾十年中已經受到了廣泛的研究關注。SISR問題旨在從一個單一低分辨率圖像中重構出一個高分辨率圖像。通常情況下，低分辨率圖像和原始的高分辨率圖像可根據情境而產生變化。傳統算法是采用插值的方式填充圖像變換時像素之間的空隙，存在著得到的圖像質量不高，放大后鋸齒的情況。

發明內容

本發明的目的是提供一種人像超分辨率重建方法，該方法基于人像低-高分辨率圖像成對重建、基于深度學習的SR通過神經網絡直接學習人像低分辨率圖像到人像高分辨率圖像的特征映射，用于對互聯網新媒體傳播通道中傳播的人臉圖片、視頻中人像圖片等視圖像進行超分辨重建。

本發明采用的技術方案為：一種人像超分辨率重建方法，包括如下步驟：

步驟1，獲取人像高分辨率圖像；

步驟2，對獲取的人像高分辨率圖像重建，以得到與之對應的人像低分辨率圖像；

步驟3，對人像高分辨率圖像和與之對應的人像低分辨率圖像進行圖像預處理；

步驟4，把圖像預處理后的人像高分辨率圖像和與之對應的人像低分辨率圖像作為成對人像，將所述成對人像輸入深度神經網絡進行訓練，學習人像低分辨率圖像與人像高分辨率圖像之間的特征映射，訓練完成后得到人臉圖片超分辨重建模型；

步驟5，將測試圖像輸入人臉圖片超分辨重建模型進行人臉圖片超分辨重建。

進一步地，步驟1中獲取的人像高分辨率圖像為從網絡中下載的無損人臉圖片。

進一步地，步驟2中，對獲取的人像高分辨率圖像進行重建的方法包括：散焦模糊、隨機旋轉、仿射變換和雙三次插值編碼。

進一步地，步驟2中，采用多線程的方式對獲取的人像高分辨率圖像進行重建。

進一步地，步驟3中對人像高分辨率圖像和與之對應的人像低分辨率圖像進行圖像預處理的方法為：先將人像高分辨率圖像和人像低分辨率圖像拆分成紅綠藍RGB三通道，然后轉化為YCbCr格式。

進一步地，步驟4中的深度神經網絡為：依次連接的1個通用卷積層、4個殘差塊、1個通用卷積層、若干上采樣層和1個通用卷積層；其中，

所述通用卷積層為一個卷積核大小為3×3、步長為1、輸出通道為128的卷積層；

所述殘差塊包括1個所述通用卷積層，設置的激活函數為ReLU，并采用正則化規范處理；每兩層殘差塊之間增加一個捷徑，即將上一個殘差塊的輸入直接向下一個殘差塊的輸入連接了一條傳遞線來進行恒等映射，以進行殘差計算；

所述上采樣層包括1個特殊卷積層，其后進行像素縮放，設置的激活函數為ReLU，并采用正則化規范處理；所述特殊卷積層為一個卷積核大小為3×3、步長為1、輸出通道為512的卷積層。

進一步地，所述深度神經網絡采用L1范數損失函數作為損失函數。