[發明專利]人臉圖像超分辨率重建的方法和裝置

有效

• 申請號: 201410084681.4
• 申請日: 2014-03-10
• 公開（公告）號: CN103903236A
• 公開（公告）日: 2014-07-02
• 發明（設計）人: 曹林;劉丹;周汐
• 申請（專利權）人: 北京信息科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40;G06K9/62
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張耀光

技術領域

本發明涉及圖像處理領域，特別涉及一種人臉圖像超分辨率重建的方法和裝置。

背景技術

圖像超分辨率重建（Super?Resolution?Reconstruction，SRR）就是利用軟件的方法，將一幅或多幅低分辨率圖像重建成一幅高分辨率圖像的過程。圖像超分辨率重建有很廣泛的應用，如在視頻監控、醫學圖像、遙感圖像等領域。現實生活中通過硬件技術來提高分辨率成本較大且技術難度大，故從軟件方向著手，對采集到的圖像進行后處理，來提高圖像分辨率有重大的意義。人臉是圖像的一種特殊類型，具有高度的相似性。近年來在公共安全等領域，視頻監控技術越來越普及，但是由于攝像頭離人通常較遠，加上監控設備本身分辨率低，拍攝到的人臉圖像分辨率很低，以至于無法很好的進行人臉檢測和識別，因此人臉圖像超分辨率重建技術具有廣泛的應用價值。

常用的圖像超分辨率重建方法包括：插值的方法、基于重建的方法和基于學習的方法。人臉圖像超分辨率重建主要是基于學習的方法，首先構建樣本圖像，然后利用該樣本圖像來指導重建高分辨率的圖像，因此，這類方法對樣本圖像的質量和數量有較高的要求。

目前，有一種人臉圖像超分辨率重建技術是，基于全局參數模型與局部馬爾科夫隨機場的非參數模型相結合的方法來學習出高分辨率人臉圖像，但是，重建的人臉圖像清晰度較低，效果較差。

發明內容

有鑒于此，本發明實施例提供了一種人臉圖像超分辨率重建的方法和裝置，以提高重建的人臉圖像的清晰度。所述技術方案如下：

第一方面，提供了一種人臉圖像超分辨率重建的方法，包括：

將測試人臉圖像與訓練人臉圖像都劃分成圖像塊，其中，所述測試人臉圖像的分辨率低于指定分辨率，所述訓練人臉圖像包括高分辨率的訓練人臉圖像和低分辨率的訓練人臉圖像，所述高分辨率的訓練人臉圖像的分辨率不低于所述指定分辨率，所述低分辨率的訓練人臉圖像的分辨率低于所述指定分辨率；

根據平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對每個非平滑塊再繼續劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預設條件時停止劃分；

對所述訓練人臉圖像按照與所述測試人臉圖像中各塊的位置進行相同的劃分得到子塊；

根據所述低分辨率的訓練人臉圖像中的各子塊計算所述測試人臉圖像中對應位置的各非平滑塊的權重系數，根據所述權重系數和所述高分辨率的訓練人臉圖像中對應位置的各子塊得到所述測試人臉圖像中各非平滑塊對應的重建圖像塊；

對所述測試人臉圖像中的每個平滑塊進行雙三次插值得到對應的重建圖像塊；

將所述測試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個人臉圖像，得到所述測試人臉圖像的超分辨率重建人臉圖像。

其中，所述將測試人臉圖像與訓練人臉圖像都劃分成圖像塊，包括：

采用重疊方式分別將所述測試人臉圖像和所述訓練人臉圖像劃分成圖像塊，且任一個訓練人臉圖像中的圖像塊的個數與所述測試人臉圖像中的圖像塊的個數相同；所述重疊方式是指一個人臉圖像中任意兩個相鄰的圖像塊之間有重疊的部分。

其中，所述根據平滑度將所述測試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，包括：

計算所述測試人臉圖像中每個圖像塊的平滑度，并與預設的第一閾值進行比較，若所述平滑度小于所述第一閾值，則確定該圖像塊為平滑塊；若所述平滑度大于等于所述第一閾值，則確認該圖像塊為非平滑塊。

其中，所述預設條件為劃分后的非平滑塊的尺寸小于等于預設尺寸或劃分后的非平滑塊的平滑度小于等于預設的第二閾值。

其中，所述根據所述低分辨率的訓練人臉圖像中的各子塊計算所述測試人臉圖像中對應位置的各非平滑塊的權重系數，包括：

利用主元分析法將所述測試人臉圖像中的非平滑塊映射到所述低分辨率的訓練人臉圖像中對應位置的子塊上，得到所述測試人臉圖像中各非平滑塊的權重系數。

第二方面，提供了一種人臉圖像超分辨率重建的裝置，包括：

劃分模塊，用于將測試人臉圖像與訓練人臉圖像都劃分成圖像塊，其中，所述測試人臉圖像的分辨率低于指定分辨率，所述訓練人臉圖像包括高分辨率的訓練人臉圖像和低分辨率的訓練人臉圖像，所述高分辨率的訓練人臉圖像的分辨率不低于所述指定分辨率，所述低分辨率的訓練人臉圖像的分辨率低于所述指定分辨率；