[發明專利]一種人臉超分辨率重建方法及系統

有效

• 申請號: 202110487901.8
• 申請日: 2021-05-06
• 公開（公告）號: CN112884657B
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 郭克華;胡敏;奎曉燕;趙穎;胡斌
• 申請（專利權）人: 中南大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 長沙正奇專利事務所有限責任公司 43113
• 代理人: 王娟;馬強

本發明公開了一種人臉超分辨率重建方法及系統，采用人工智能中的深度學習方法，結合人臉超分辨率技術，實現了在不需要人臉先驗知識的情況下重建清晰的人臉圖像。本發明方法構建一個漸進式超分辨率重建模塊，逐步提升人臉圖像的分辨率，充分利用低分辨率人臉以及噪聲信息，可將低分辨率的低光照的人臉重建成面部輪廓、細節信息清晰的超分辨率人臉圖像，低分辨率圖像的訓練有助于更高級別分辨率的訓練，因此整體的訓練速度更快。

技術領域

本發明涉及人臉識別領域，特別是一種人臉超分辨率重建方法及系統。

背景技術

人工智能（AI）是科技行業的熱點, AI能夠使機器進行自主學習并獨立解決問題，因此廣泛應用于視頻監控、智能手機、醫療保健和汽車等多個領域，相關研究及應用在過去10年里呈現爆炸式增長^[1][2][3]。近年來，社會治安的問題日漸凸顯，不同的場合開始對安全防范加大力度。為了滿足人們的需求，我國大力開展天網工程的建設工作，利用圖像采集、傳輸、控制、顯示等設備和控制軟件，對城市中固定區域進行實時監控和信息記錄，為強化城市綜合管理、預防打擊犯罪和突發性治安災害事故提供豐富的影像資料，由此獲得的影像資料能夠滿足人們在交通監控、異常事件警報以及家庭護理等許多應用中的現實需求^[4][5]。這些應用都對圖像的分辨率有著較高的要求，人工智能技術能夠針對視頻獲得的低質量圖像恢復對應的高分辨率圖像，成本較低且性能較高，從而能更好的幫助醫生診斷疾病、輔助警察快速定位犯罪嫌疑人。在低光照場景下，由于照明條件的限制，視頻系統捕獲的畫面通常亮度低、噪聲大。且受到拍攝設備硬件成本和拍攝角度的影響，視頻所拍攝的目標區域（如人臉圖像）通常較小、分辨率較低，難以辨識。人臉圖像在道路交通、健康監測等場景中通常具有重要的作用，根據低質量、低光照的視頻畫面的人臉恢復對應的高質量人臉，具有重要的現實意義。

在視頻監控中，人臉圖像在道路交通、健康監測等場景中通常具有重要的作用。人臉超分辨率（FSR）旨在從低分辨率（LR）的人臉圖像中恢復出高分辨率（HR）的人臉圖像。FSR是視頻監控和面部增強的基礎，在人臉識別^[6]和人臉對齊^[7]等任務中同樣有重要作用。FSR是單圖像超分辨率（SISR）任務的一種特例^[8][9][10]，與SISR相比，FSR僅考慮面部圖像，面部圖像中存在特定于面部的先驗知識，能夠為恢復高分辨率的人臉圖像（全局結構和局部細節）提供指導。許多研究者提出了利用人臉先驗知識進行人臉超分辨率的方法^[12][13][14]。稠密對應領域^[17]在中用于捕獲面部空間配置信息。在文獻^[15]中預測了面部組件的熱力圖，提供面部組件的定位以提高SR質量。端到端訓練有素的網絡FSRNet同時引入面部解析圖和人臉關鍵熱力圖，以提高恢復性能^[16]。然而現有的這些方法通常是用LR或粗糙的SR人臉圖像來估計的人臉先驗信息，由此估計的先驗信息可能不準確，會影響人臉超分辨率的性能。此外，部分方法在指標上取得了較好的結果，但是在視覺效果上不夠友好。

由此，現有方法存在的缺陷如下：

(1)現有的方法具有需要人臉先驗信息標簽進行訓練的缺點，并且人臉先驗信息是通過低質量、低分辨率的輸入圖像預測所得，因此難以充分估計人臉精確的先驗信息，導致超分辨率重建的圖像可能不準確。

(2)對于低光場景下的低分辨率人臉圖像，現有人臉超分辨率方法重建的人臉存在亮度低、細節丟失嚴重等問題，不利于人臉的辨識。

低光照：圖像中對象的每個像素點的灰度值接近0（黑色），使得人眼睛感到的明亮程度很低，難以識別。

低分辨率：每英寸圖像內像素點個數不超過32，導致人眼難以識別圖像中的對象。

發明內容

本發明所要解決的技術問題是，針對現有技術不足，提供一種人臉超分辨率重建方法及系統，將低分辨率的低光照的人臉重建成面部輪廓、細節信息清晰的超分辨率人臉圖像。