[發(fā)明專利]人臉圖像超分辨率重建的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410084681.4
• 申請(qǐng)日: 2014-03-10
• 公開（公告）號(hào): CN103903236A
• 公開（公告）日: 2014-07-02
• 發(fā)明（設(shè)計(jì)）人: 曹林;劉丹;周汐
• 申請(qǐng)（專利權(quán)）人: 北京信息科技大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06T3/40;G06K9/62
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 張耀光

1.一種人臉圖像超分辨率重建的方法，其特征在于，所述方法包括：

將測(cè)試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，其中，所述測(cè)試人臉圖像的分辨率低于指定分辨率，所述訓(xùn)練人臉圖像包括高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像，所述高分辨率的訓(xùn)練人臉圖像的分辨率不低于所述指定分辨率，所述低分辨率的訓(xùn)練人臉圖像的分辨率低于所述指定分辨率；

根據(jù)平滑度將所述測(cè)試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分；

對(duì)所述訓(xùn)練人臉圖像按照與所述測(cè)試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊；

根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測(cè)試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)所述權(quán)重系數(shù)和所述高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到所述測(cè)試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊；

對(duì)所述測(cè)試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊；

將所述測(cè)試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到所述測(cè)試人臉圖像的超分辨率重建人臉圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將測(cè)試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，包括：

采用重疊方式分別將所述測(cè)試人臉圖像和所述訓(xùn)練人臉圖像劃分成圖像塊，且任一個(gè)訓(xùn)練人臉圖像中的圖像塊的個(gè)數(shù)與所述測(cè)試人臉圖像中的圖像塊的個(gè)數(shù)相同；

其中，所述重疊方式是指一個(gè)人臉圖像中任意兩個(gè)相鄰的圖像塊之間有重疊的部分。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)平滑度將所述測(cè)試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，包括：

計(jì)算所述測(cè)試人臉圖像中每個(gè)圖像塊的平滑度，并與預(yù)設(shè)的第一閾值進(jìn)行比較，若所述平滑度小于所述第一閾值，則確定該圖像塊為平滑塊；若所述平滑度大于等于所述第一閾值，則確認(rèn)該圖像塊為非平滑塊。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)條件為劃分后的非平滑塊的尺寸小于等于預(yù)設(shè)尺寸或劃分后的非平滑塊的平滑度小于等于預(yù)設(shè)的第二閾值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測(cè)試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，包括：

利用主元分析法將所述測(cè)試人臉圖像中的非平滑塊映射到所述低分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的子塊上，得到所述測(cè)試人臉圖像中各非平滑塊的權(quán)重系數(shù)。

6.一種人臉圖像超分辨率重建的裝置，其特征在于，所述裝置包括：

劃分模塊，用于將測(cè)試人臉圖像與訓(xùn)練人臉圖像都劃分成圖像塊，其中，所述測(cè)試人臉圖像的分辨率低于指定分辨率，所述訓(xùn)練人臉圖像包括高分辨率的訓(xùn)練人臉圖像和低分辨率的訓(xùn)練人臉圖像，所述高分辨率的訓(xùn)練人臉圖像的分辨率不低于所述指定分辨率，所述低分辨率的訓(xùn)練人臉圖像的分辨率低于所述指定分辨率；

自適應(yīng)模塊，用于根據(jù)平滑度將所述測(cè)試人臉圖像中的所有圖像塊分為兩類，平滑塊和非平滑塊，對(duì)每個(gè)非平滑塊再繼續(xù)劃分，直至劃分后不存在非平滑塊或劃分后的非平滑塊滿足預(yù)設(shè)條件時(shí)停止劃分；對(duì)所述訓(xùn)練人臉圖像按照與所述測(cè)試人臉圖像中各塊的位置進(jìn)行相同的劃分得到子塊；

重建模塊，用于根據(jù)所述低分辨率的訓(xùn)練人臉圖像中的各子塊計(jì)算所述測(cè)試人臉圖像中對(duì)應(yīng)位置的各非平滑塊的權(quán)重系數(shù)，根據(jù)所述權(quán)重系數(shù)和所述高分辨率的訓(xùn)練人臉圖像中對(duì)應(yīng)位置的各子塊得到所述測(cè)試人臉圖像中各非平滑塊對(duì)應(yīng)的重建圖像塊；對(duì)所述測(cè)試人臉圖像中的每個(gè)平滑塊進(jìn)行雙三次插值得到對(duì)應(yīng)的重建圖像塊；

合成模塊，用于將所述測(cè)試人臉圖像中各非平滑塊的重建圖像塊與各平滑塊的重建圖像塊按照位置合成為一個(gè)人臉圖像，得到所述測(cè)試人臉圖像的超分辨率重建人臉圖像。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述劃分模塊包括：

劃分單元，用于采用重疊方式分別將所述測(cè)試人臉圖像和所述訓(xùn)練人臉圖像劃分成圖像塊，且任一個(gè)訓(xùn)練人臉圖像中的圖像塊的個(gè)數(shù)與所述測(cè)試人臉圖像中的圖像塊的個(gè)數(shù)相同；

其中，所述重疊方式是指一個(gè)人臉圖像中任意兩個(gè)相鄰的圖像塊之間有重疊的部分。