[發(fā)明專(zhuān)利]一種相似樣本特征擬合的人臉圖像清晰化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711322319.6
• 申請(qǐng)日: 2017-12-12
• 公開(kāi)（公告）號(hào): CN108171124B
• 公開(kāi)（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 干宗良;劉志恒;劉峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京郵電大學(xué)
• 主分類(lèi)號(hào): G06V40/16
• 分類(lèi)號(hào): G06V40/16;G06T5/50
• 代理公司: 江蘇海越律師事務(wù)所 32402
• 代理人: 唐小紅

1.一種相似樣本特征擬合的人臉圖像清晰化方法，其步驟如下：

S1、將一組與待清晰人臉圖像尺寸和姿勢(shì)相同的清晰人臉圖像通過(guò)降質(zhì)得到一組對(duì)應(yīng)的非清晰人臉圖像，并把兩組圖像按照像素位置劃分成對(duì)應(yīng)的圖像塊，再將圖像塊按像素位置構(gòu)建清晰和非清晰訓(xùn)練樣本集；

S2、將每個(gè)像素位置的訓(xùn)練樣本集中的圖像塊減去均值后，再進(jìn)行特征提取；

S3、將待清晰人臉圖像按照像素位置重疊取塊得到待清晰人臉圖像塊，然后對(duì)每個(gè)圖像塊減去均值，再進(jìn)行特征提取；

S4、在與待清晰人臉圖像塊像素位置對(duì)應(yīng)的非清晰訓(xùn)練樣本集中，找到與待清晰人臉圖像塊特征最相近的K個(gè)非清晰人臉圖像塊特征，并在清晰訓(xùn)練樣本集中找到與之對(duì)應(yīng)的K個(gè)清晰人臉圖像塊特征，將所找到的K個(gè)清晰和非清晰的人臉圖像塊特征構(gòu)成訓(xùn)練樣本對(duì)；

S5、利用訓(xùn)練樣本對(duì)學(xué)習(xí)非清晰人臉圖像塊特征和清晰人臉圖像塊特征之間的非線性回歸關(guān)系，利用學(xué)習(xí)到的回歸關(guān)系求得待清晰人臉圖像塊特征對(duì)應(yīng)的清晰人臉圖像塊特征；

S6、將求得的清晰人臉圖像塊特征經(jīng)過(guò)反投影變換得到清晰人臉圖像塊；

S7、將逐個(gè)求得的清晰人臉圖像塊按照它在人臉圖像上的位置拼接成最終的清晰人臉圖像；

所述步驟S1，其具體為：

S11、從人臉樣本庫(kù)中選取一組與待清晰人臉圖像尺寸和姿勢(shì)一致的清晰人臉圖像；對(duì)清晰人臉圖像進(jìn)行下采樣，得到縮小的清晰人臉圖像，然后采用雙三次插值算法將縮小的清晰人臉圖像放大至與原始清晰人臉圖像相同的尺寸，通過(guò)對(duì)清晰人臉圖像集中的每幅圖像進(jìn)行上述操作得到一組插值的非清晰人臉圖像；

S12、采用大小固定的矩形窗口分別對(duì)清晰、非清晰人臉圖像進(jìn)行滑窗分塊，并保證上下左右相鄰位置塊之間有重疊部分，且重疊的像素個(gè)數(shù)相同；

S13、分別將清晰和非清晰人臉圖像中相同像素位置的圖像塊整合在一起，構(gòu)成清晰和非清晰訓(xùn)練樣本集；假設(shè)在位置p處的非清晰訓(xùn)練樣本集定義為清晰訓(xùn)練樣本集定義為其中J是樣本集中圖像塊的維度，M是樣本集中圖像塊的個(gè)數(shù)，x_p和y_p分別表示非清晰和清晰圖像在位置p處的圖像塊；

所述步驟S2，其具體為：

S21、將S1中所述的每個(gè)像素位置的清晰和非清晰訓(xùn)練樣本集中的圖像塊減去均值后進(jìn)行特征提取，以位置p處為例，具體為：

根據(jù)投影矩陣U、V把S1所述的X、Y投影到特征空間中：

其中mean^X和mean^Y分別表示S1所述的X樣本集和Y樣本集中所有圖像塊的平均值，i＝1,2,…,M，投影后的樣本集分別為和其中q小于等于樣本集中圖像塊維度J，和分別表示x_p和y_p投影后的結(jié)果；

投影矩陣U、V的計(jì)算步驟如下：

分別將S1所述訓(xùn)練樣本集X和Y中的圖像塊減去均值，再通過(guò)公式(3)計(jì)算它們之間的相關(guān)矩陣C：

C＝(Y-mean^Y)^T(X-mean^X) (3)

通過(guò)公式(4)的方法分解相關(guān)矩陣C:

C＝UΛV^T (4)

通過(guò)求解公式(5)即得到

所述步驟S3，其具體為：

S31、采用與S1所述的大小相同的矩形窗口對(duì)待清晰人臉圖像進(jìn)行滑窗分塊，并保證上下左右相鄰位置塊之間有重疊部分，且重疊像素個(gè)數(shù)與S1中像素個(gè)數(shù)相同；

S32、在位置p處，根據(jù)公式(6)利用S2所述的投影矩陣V將位置p處的待清晰人臉圖像塊L_p投影到特征空間中，得到待清晰人臉圖像塊特征

所述步驟S4，其具體為：

在位置p處，通過(guò)求解公式(7)，在S2所述的Z_X中找出與待清晰人臉圖像塊特征歐氏距離最相近的K個(gè)非清晰人臉圖像塊特征：

其中，i＝1,2,…,M，并在Z_Y中找到與Z_X中的K個(gè)非清晰人臉圖像塊特征相對(duì)應(yīng)的清晰人臉圖像塊特征，構(gòu)成訓(xùn)練樣本對(duì)；

所述步驟S6，其具體為：

通過(guò)求解公式(11)，將S5所述的清晰圖像塊特征反投影到原始的圖像空間中，得到清晰人臉圖像塊H_p：

所述步驟S7，其具體為：

根據(jù)待清晰人臉圖像塊依次求出對(duì)應(yīng)的清晰人臉圖像塊，將清晰人臉圖像塊按像素位置拼接成清晰人臉圖像，當(dāng)遇到重疊像素時(shí)取重疊位置像素值的平均值作為重疊位置最終的像素值；

其特征在于，所述步驟S5，其具體為：

在圖像上每個(gè)位置處，根據(jù)最小均分誤差準(zhǔn)則求解公式(8)，得到清晰、非清晰訓(xùn)練樣本集中對(duì)應(yīng)圖像塊特征之間的非線性回歸關(guān)系：

其中，矩陣A中的每一行代表一個(gè)圖像塊特征，C是正則化參數(shù)，I表示元素都為1的列向量，Φ表示Sigmoid函數(shù)即Φ(x)＝1/(1+e^-x)，β為隱藏參數(shù)，在輸入數(shù)據(jù)時(shí)按照高斯分布隨機(jī)生成，y代表輸出，如果求得w和b，對(duì)于一個(gè)輸入x′，對(duì)應(yīng)的輸出y′＝w^TΦ(β,x′)-b；

通過(guò)牛頓法求解得到w和b；

通過(guò)將S4所述訓(xùn)練樣本對(duì)中的非清晰圖像塊特征作為回歸模型的輸入，清晰圖像塊特征作為回歸模型的輸出，求得回歸模型目標(biāo)參數(shù)w和b；則對(duì)于S3所述的輸入通過(guò)公式(10)求出對(duì)應(yīng)的清晰圖像塊特征

。