[發明專利]低清圖像重建超分辨率人臉圖像的方法、系統及存儲介質

在審

• 申請號: 202210296363.9
• 申請日: 2022-03-24
• 公開（公告）號: CN114820303A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 邵文澤;羅維維
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 馮寧

本發明公開了一種低清圖像重建超分辨率人臉圖像的方法、系統及存儲介質，包括：將低分辨率圖像輸入預訓練漸進式生成對抗網絡中，初始化隱編碼和通道權重參數；將隱編碼和通道權重輸入預訓練漸進式生成對抗網絡的迭代單元，獲得迭代的多重隱編碼和通道權重；判斷多重隱編碼和通道權重的迭代次數是否大于預設的迭代次數閾值，基于輸出的多重隱編碼和通道權重生成的最終超分辨率的高清人臉圖像。通過本發明將多重隱編碼分組，并在預訓練漸進式生成對抗網絡不同的子網絡結構下迭代優化，使得多重潛碼學習不同層次的特征，提升了人臉超分圖像的真實感，從而重建超分辨率人臉圖像。

技術領域

本發明涉及人工智能領域，尤其是涉及一種低清圖像重建超分辨率人臉圖像的方法、系統及存儲介質。

背景技術

近年來，隨著信息化時代的不斷發展人們越來越依靠互聯網獲取信息，據統計，一個人獲得的信息有75％來自視覺，但高清圖像數字化后的數據量非常大，在互聯網傳輸大分辨率人臉圖像時，為了為節省網絡帶寬與速率，從互聯網上獲取到的人臉圖像是壓縮傳輸后的低分辨率圖像，嚴重影響用戶獲取人臉圖像的五官、臉型等細節信息。由于人臉的特殊性，人臉的細節信息在壓縮后往往很難恢復出細節，特別是針對大尺度的人臉超分辨率時，人臉的真實感和身份信息會產生失真，人臉超分辨對于人臉圖像壓縮方面能帶來快速、安全和質量方面的提升，吸引了學術界和商業界越來越多的關注。

相比于高清人臉圖像，低清人臉圖像往往背景模糊、光照不均，包含更多噪聲，且低清人臉特征中丟失了很多對人臉的細節信息，超分辨率后的圖像往往對丟失很多人臉細節，甚至丟失原先人臉的身份特征，影響質量觀感，直接使用常規人臉超分辨率算法得到的結果往往不佳，這極大影響了人臉超分辨率系統的性能。

一般來說，解決低清人臉超分辨率問題的方案可以分為兩類。一種是有監督方法，該方法往往需要大數量的人臉圖像對，每對圖像包含一張高清人臉和對應的低清人臉，但現實中很難獲取到真實的圖像對，大多都是人工下采樣產生的低清圖像，這會使得學習出來的模型不能很好的適應真實場景下的圖像退化問題，另一種是無監督方法，無監督方法利用預訓練模型作為先驗知識來指導生成低清圖像，利用優化算法優化生成對抗網絡的輸入，在超低清的情況并不適用，且缺少面部細節，導致模型無法提取鑒別特征，因此目前該類方法取得的結果仍不是很理想。

發明內容

發明目的：為了克服現有技術中的不足，本發明提供一種低清圖像重建超分辨率人臉圖像的方法、系統及存儲介質；通過本發明將多重隱編碼分組，并在預訓練漸進式生成對抗網絡不同的子網絡結構下迭代優化，使得多重潛碼學習不同層次的特征，提升了人臉超分圖像的真實感，引入人臉識別網絡身份保持損失，約束了身份特征盡可能不變，引入了對多重潛碼對應的中間特征的解耦，使得對每個潛碼語義解耦，利用預訓練漸進式生成對抗網絡和人臉識別網絡重建超分辨率人臉圖像。

技術方案：第一方面本發明提供種一種低清圖像重建超分辨率人臉圖像的方法，包括：

將低分辨率圖像輸入預訓練漸進式生成對抗網絡中，獲得隱編碼、通道權重；其中，預訓練漸進式生成對抗網絡的參數權重由大數據量高清人臉數據訓練得到；

將隱編碼和通道權重輸入預訓練漸進式生成對抗網絡的迭代單元，獲得迭代的多重隱編碼和通道權重；

判斷多重隱編碼和通道權重的迭代次數是否大于預設的迭代次數閾值，將大于預設的迭代次數閾值的多重隱編碼和通道權重輸出；

基于輸出的多重隱編碼和通道權重生成的最終超分辨率的高清人臉圖像。

在進一步的實施例中，所述預訓練漸進式生成對抗網絡中預設有迭代次數閾值和高斯隨機初始化參數。

在進一步的實施例中，將隱編碼和通道權重輸入預訓練漸進式生成對抗網絡的迭代單元，獲得迭代的多重隱編碼和通道權重的方法包括：