[發(fā)明專(zhuān)利]基于二維多集偏最小二乘的人臉圖像超分辨率重建方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010069628.2
• 申請(qǐng)日: 2020-01-21
• 公開(kāi)（公告）號(hào): CN111292237B
• 公開(kāi)（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 袁運(yùn)浩;李進(jìn);李云;強(qiáng)繼朋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 揚(yáng)州大學(xué)
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40
• 代理公司: 南京蘇科專(zhuān)利代理有限責(zé)任公司 32102
• 代理人: 董旭東;陳棟智

本發(fā)明公開(kāi)了基于二維多集偏最小二乘的人臉圖像超分辨率重建方法，包括以下步驟，1人臉圖像首先被分為多個(gè)重疊的圖像塊，再利用二維多集偏最小二乘方法提取二維人臉圖像塊的潛在特征；2利用鄰域重建策略以及圖像塊合并對(duì)輸入的低分辨率人臉圖像進(jìn)行高頻人臉圖像重建；3最終輸出的超分辨率重建圖像為重建出的高頻圖像加上輸入的低分辨率人臉圖像。本發(fā)明具有一定的理論基礎(chǔ)，創(chuàng)新性地提出了二維多集偏最小二乘方法，在不同數(shù)據(jù)庫(kù)下測(cè)試結(jié)果表明具有較強(qiáng)的魯棒性，有一定的市場(chǎng)實(shí)施的可行性，解決了目前絕大多數(shù)現(xiàn)有算法無(wú)法處理的多視圖超分辨率問(wèn)題，具有較大的創(chuàng)新性與實(shí)用性。

技術(shù)領(lǐng)域

本發(fā)明涉及超分辨率重建領(lǐng)域，特別涉及基于二維多集偏最小二乘的人臉圖像超分辨率重建方法。

背景技術(shù)

傳統(tǒng)的人臉識(shí)別方法是在理想的姿態(tài)以及光照條件下工作，但是，大多數(shù)實(shí)際生活中捕獲到的人臉圖像是低分辨率的，前面提到的人臉識(shí)別算法通常在低分辨率問(wèn)題下表現(xiàn)較差，為了解決這一問(wèn)題，近些年來(lái)許多有效的人臉超分辨率重建方法被提出，其目標(biāo)是從輸入的低分辨率圖像中重建出高分辨率的人臉圖像。但傳統(tǒng)的人臉超分辨率算法無(wú)法保持圖像的二維結(jié)構(gòu)，且無(wú)法同時(shí)處理多種分辨率人臉圖像輸入的問(wèn)題。

除了低分辨率問(wèn)題以外，在現(xiàn)實(shí)生活中，人們通常需要面對(duì)同一人臉具有多種不同分辨率視圖的情況，例如一段視頻序列中的同一個(gè)人，隨著距離、姿態(tài)的變化通常有著不同分辨率大小的人臉圖像。對(duì)于多種不同的低分辨率視圖，目前大多數(shù)方法一次只能訓(xùn)練一對(duì)高低分辨率視圖，這種處理方式十分耗時(shí)且效率低下，不能有效利用不同分辨率視圖之間的相關(guān)關(guān)系，迄今為止，共同學(xué)習(xí)多種視圖之間關(guān)系還沒(méi)有得到廣泛關(guān)注。

發(fā)明內(nèi)容

本發(fā)明的目的是克服現(xiàn)有技術(shù)缺陷，提供基于二維多集偏最小二乘的人臉圖像超分辨率重建方法，將人臉圖像分為多個(gè)重疊的圖像塊，再利用二維多集偏最小二乘方法提取二維人臉圖像塊的潛在特征，利用鄰域重建策略以及圖像塊合并對(duì)輸入的低分辨率人臉圖像進(jìn)行高頻人臉圖像重建，最終輸出的超分辨率重建圖像為重建出的高頻圖像加上輸入的低分辨率人臉圖像。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：基于二維多集偏最小二乘的人臉圖像超分辨率重建方法，其特征在于，包括以下步驟：

步驟1在訓(xùn)練階段利用訓(xùn)練集學(xué)習(xí)不同分辨率視圖之間的潛在相關(guān)關(guān)系，將訓(xùn)練集中的不同視圖的高頻圖像和其相對(duì)應(yīng)的低分辨率圖像分成重疊的圖像塊，利用二維多集偏最小二乘法對(duì)二維圖像塊進(jìn)行特征提取，計(jì)算二維多集偏最小二乘投影矩陣，將二維圖像塊投影到二維多集偏最小二乘子空間；

步驟2在測(cè)試階段，將輸入的多種低分辨率圖像分成重疊的圖像塊，利用訓(xùn)練階段得到的相應(yīng)低分辨率的二維多集偏最小二乘投影矩陣將輸入的二維低分辨率圖像塊投影到二維多集偏最小二乘法子空間，利用鄰域重建策略以及圖像塊合并對(duì)輸入的低分辨率人臉圖像進(jìn)行高頻人臉圖像重建。

步驟3最終輸出的超分辨率重建圖像為重建出的高頻圖像加上輸入的低分辨率人臉圖像。

作為本發(fā)明的進(jìn)一步限定，步驟1中所述計(jì)算二維多集偏最小二乘投影矩陣包含以下步驟：

(1)對(duì)于m個(gè)視圖二維中心化隨機(jī)變量其中p_i和q_i分別表示xⁱ的兩個(gè)維度，二維多集偏最小二乘法目的為尋找兩組線(xiàn)性變換和其中d₁和d₂分別為左投影向量和右投影向量的維度。二維多集偏最小二乘的最優(yōu)化問(wèn)題表示如下：

s.t.(Lⁱ)^TLⁱ＝(Rⁱ)^TRⁱ＝I,i＝1,…,m,

其中Cov(·)表示矩陣的協(xié)方差；