[發明專利]基于殘差反投影神經網絡對齊人臉圖像的超分辨率方法

在審

• 申請號: 202011281052.2
• 申請日: 2020-11-16
• 公開（公告）號: CN112200152A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 陸耀;王學博;陳曉珍;王子建;李瑋琪;李公平;吳紫薇
• 申請（專利權）人: 中央廣播電視總臺
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T3/40
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 張利萍

本發明涉及基于殘差反投影神經網絡對齊人臉圖像的超分辨率方法，屬于圖像處理技術領域。采用迭代反投影與深度學習神經網絡相結合的方式，通過三個步驟將超低分辨率人臉圖像放大8倍。(1)將超低分辨率人臉圖像輸入到神經網絡中，提取深度特征，同時采用反卷積網絡將低分辨率特征圖放大到128x128大小。(2)將步驟(1)得到的128*128大小的特征圖輸入到神經網絡的殘差反投影單元中，通過不斷的迭代，得到補償后的128*128高分辨率特征圖(3)將步驟(2)得到的高分辨率特征圖經過卷積層生成最終的128*128高分辨率圖像。本方法模塊清晰、步驟簡單，超分辨率的效果和效率滿足實際低分辨率人臉圖像的超分辨率要求。

技術領域

本發明涉及基于殘差反投影神經網絡對齊人臉圖像的超分辨率方法，屬于圖像處理技術領域。

技術背景

在計算機視覺的研究領域中，人臉圖像超分辨率一直是一個重要的子課題，不僅其自身有許多的現實應用場景，同時也是其他研究課題的基礎。

從現實意義角度出發，許多智能化的應用都離不開人臉圖像超分辨率技術的支撐，最主要的應用莫過于城市監控系統：隨著經濟高速發展，我們身邊的視頻監控攝像頭越來越多，這些攝像頭主要用來建設城市視頻監控系統，在公安機關刑事偵查業務中發揮著重要作用。然而在實際的攝像頭采集人臉過程中，人臉信息常常難以直接辨識，主要原因是：一方面攝像頭和人臉距離通常較遠，低分辨率的目標圖像難以提供足夠的可供識別的細節信息；另一方面視頻監控系統中光學器件模糊，現場環境、傳輸壓縮噪聲等干擾，使目標對象的細節信息出現誤差，難以提供人臉辨識所需要的特征信息。因此，對實際的低分辨率人臉圖像進行分辨率提升處理，進而提升目標圖像的可辨識度是視頻監控業務的核心技術需求。

從科學研究角度出發，隨著人工智能技術的快速發展，計算機視覺任務作為其核心之一，也在不斷向前發展。經典的視覺任務研究如圖像分類、目標檢測、人臉識別日漸成熟，其前提都是需要提供高分辨率的圖像，人臉圖像屬于其中的子集。因此人臉圖像的超分辨率研究可以看做以上等高級視覺任務的基礎，提供更高清的圖像，能夠使圖像分類的結果更準確，目標檢測的檢測準確率更高，人臉識別的識別率更高。在進行真實圖像的其他視覺任務之前，通過超分辨率方法提高圖像的質量。

人臉圖像超分辨率技術(Face Super-Resolution，FSR)，屬于特定類別的單圖像超分辨率技術(Single Image Super Resolution，SISR)。其目標是利用算法處理低分辨率人臉圖像(Low Resolution，LR)，提高圖像分辨率，從而得到清晰地高分辨率人臉圖像(High Resolution，HR)。超分辨率是從低分辨率圖像向高分辨率圖像反向求解的算法，由于圖像降質過程中高頻信息的丟失導致圖像先驗信息的不足，造成超分辨率求解是一個多解得病態問題，而對病態問題的求解，也是眾多研究領域中一直所關注的難點與熱點問題，具有很高的學術研究價值。

發明內容

本發明的目的是針對現有對齊的低分辨率人臉圖像視覺效果差，難以應用到存在的人臉分析系統中，為了放大超低分辨率人臉圖像，提出基于殘差反投影神經網絡對齊人臉圖像的超分辨率方法。

本發明是通過以下技術方案實現的。

所述基于殘差反投影神經網絡對齊人臉圖像的超分辨率方法，包括如下步驟：

步驟1、對低分辨率人臉圖像進行裁剪，得到裁剪出人臉區域的人臉圖像；

其中，人臉圖像中的人臉區域大小為16像素；

步驟2、對步驟1裁剪出人臉區域的人臉圖像進行高度對齊處理，使得人臉圖像的眼睛在一條水平直線上，得到高度對齊后的人臉圖像；

步驟3、使用sober算子提取步驟2得到的“高度對齊后的人臉圖像”的邊緣圖；

步驟4、將步驟3提取的邊緣圖與“高度對齊后的人臉圖像”進行通道合并，得到通道合并后的圖像；