[發(fā)明專利]基于回歸模型的金字塔人臉圖像超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 201711381261.2
• 申請日: 2017-12-20
• 公開（公告）號: CN108090873B
• 公開（公告）日: 2021-03-05
• 發(fā)明（設計）人: 于明;熊敏;劉依;郭迎春;于洋;師碩;畢容甲
• 申請（專利權）人: 河北工業(yè)大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 胡安朋

1.基于回歸模型的金字塔人臉圖像超分辨率重建方法，其特征在于具體步驟如下：

A.訓練集中低分辨率人臉圖像集和高分辨率人臉圖像集的訓練過程：

第一步，擴充訓練集中低分辨率人臉圖像集和高分辨率人臉圖像集：

根據人臉圖像對稱的特性，對訓練集中的低分辨率人臉圖像集和高分辨率人臉圖像集通過左右翻轉的方式進行擴充，圖像的尺寸不變，數量擴充兩倍，分別得到擴充的低分辨率人臉圖像集和擴充的高分辨率人臉圖像集其中l(wèi)表示低分辨率圖像，尺寸為a*b像素，h表示高分辨率圖像，尺寸為(d*a)*(d*b)像素，d是倍數，M表示圖像的數量；

第二步，對擴充后的低分辨率人臉圖像集P_l和高分辨率人臉圖像集P_h分別提取梯度特征：

對擴充后的低分辨率人臉圖像集P_l和高分辨率人臉圖像集P_h中的每幅人臉圖像，分別提取一階梯度和二階梯度作為分量構成一個梯度特征，得到低分辨率人臉圖像集P_l中的低分辨率人臉梯度特征圖像集和高分辨率人臉圖像集P_h中的高分辨率人臉梯度特征圖像集

第三步，對擴充后的高分辨率人臉圖像集P_h及其對應的高分辨率人臉梯度特征圖像集G_h分別進行分塊：

對擴充后的高分辨率人臉圖像集P_h中的每一幅人臉圖像及相應的高分辨率人臉梯度特征圖像分別進行有重疊的分塊，每個分塊大小為R₁*R₁像素，R₁的數值為8～12，重疊的方式是當前塊與上下相鄰圖像塊之間分別重疊K₁行像素，與左右相鄰圖像塊之間重疊K₁列像素，且0≤K₁≤R₁/2，然后采用從上到下和從左到右的順序對每幅高分辨率人臉圖像及其對應的梯度特征圖像的所有分塊進行編號，編號分別為1,2,...,U,U為每幅圖像分塊總數，編號相同的圖像塊稱為相同位置的圖像塊，由此完成對擴充后的高分辨率人臉圖像集P_h及其對應的高分辨率人臉梯度特征圖像集G_h分別進行分塊；

第四步，對擴充后的低分辨率人臉圖像集P_l及其對應的低分辨率人臉梯度特征圖像集G_l分別進行分塊：

與上述高分辨率人臉圖像集P_h的分塊方式相同，對擴充后的低分辨率人臉圖像集P_l中的每一幅低分辨率人臉圖像及相應的低分辨率人臉梯度特征圖像分別進行有重疊的分塊，每塊大小為(R₁/d)*(R₁/d)像素，R₁的數值為8～12，重疊的方式是當前圖像塊與上下相鄰圖像塊之間重疊K₁/d行像素，與左右相鄰圖像塊之間重疊K₁/d列像素，然后采用從上到下和從左到右的順序對每幅低分辨率人臉圖像及其對應的梯度特征圖像的所有分塊分別進行編號，編號分別為1,2,...,U，U為每幅圖像分塊總數，編號相同的圖像塊稱為相同位置的圖像塊，由此完成對擴充后的低分辨率人臉圖像集P_l及其對應的低分辨率人臉梯度特征圖像集G_l分別進行分塊；

至此，完成A.訓練集低分辨率人臉圖像集P_l和高分辨率人臉圖像集P_h的訓練過程；

B.測試集中低分辨率人臉圖像的重建過程：

第五步，放大測試集中的低分辨率人臉圖像得到放大的高分辨率人臉圖像：

將需要測試的低分辨率人臉圖像輸入到計算機中得到測試集中的低分辨率人臉圖像I_tl，采用雙三次插值的方式放大測試集中的某一幅低分辨率人臉圖像，得到放大的圖像作為測試集中的放大的高分辨率人臉圖像I_th，使得測試集中的放大的高分辨率人臉圖像I_th與訓練集中的高分辨率人臉圖像尺寸相等；

第六步，對測試集中的低分辨率人臉圖像I_tl和放大的高分辨率人臉圖像I_th分別提取梯度特征：

分別提取上述第五步得到的測試集中的低分辨率人臉圖像I_tl和放大的高分辨率人臉圖像I_th的一階梯度和二階梯度作為分量構成各自的梯度特征，得到它們各自對應的低分辨率人臉梯度特征圖像g_tl和高分辨率人臉梯度特征圖像g_th；

第七步，對測試集中的放大的高分辨率人臉圖像I_th及其對應的高分辨率人臉梯度特征圖像g_th進行分塊：

對上述第五步中得到的測試集中的放大的高分辨率人臉圖像I_th及其對應的上述第六步中的高分辨率人臉梯度特征圖像g_th分別進行有重疊的分塊，每塊大小為R₁*R₁像素，R₁的數值為8～12，使分塊大小與訓練集中高分辨率人臉圖像的分塊大小相同，重疊的方式是當前圖像塊與上下相鄰圖像塊之間重疊K₁行像素，與左右相鄰圖像塊之間重疊K₁列像素，然后采用從上到下和從左到右的順序對每幅人臉圖像的所有分塊分別進行編號，編號分別為1,2,...,U，U為每幅圖像分塊總數，編號相同的圖像塊稱為相同位置的圖像塊；

第八步，對測試集中的低分辨率人臉圖像I_tl及其對應的低分辨率人臉梯度特征圖像g_tl進行分塊：

對上述第五步得到的測試集中的低分辨率人臉圖像I_tl及其對應的上述第六步中的低分辨率人臉梯度特征圖像g_tl分別進行有重疊的分塊，每塊大小為(R₁/d)*(R₁/d)，R₁的數值為8～12，使分塊大小與訓練集中低分辨率人臉圖像的分塊大小相同，重疊的方式是當前圖像塊與上下相鄰圖像塊之間重疊K₁/d行像素，與左右相鄰圖像塊之間重疊K₁/d列像素，然后采用從上到下和從左到右的順序對每幅人臉圖像的所有分塊分別進行編號，編號分別為1,2,...,U，U為每幅圖像分塊總數，編號相同的圖像塊稱為相同位置的圖像塊；

第九步，利用測試集中的低分辨率人臉圖像I_tl對應的低分辨率人臉梯度特征圖像g_tl求相似塊的編號：

按照從上到下和從左到右的順序對上述第八步中得到的測試集中的低分辨率人臉圖像I_tl的圖像塊進行重建，以對第j塊圖像塊進行重建為例，利用測試集中的低分辨率人臉圖像I_tl對應的低分辨率人臉梯度特征圖像g_tl的非局部相似性，在測試集中低分辨率人臉圖像I_tl中尋找第j塊圖像塊的相似塊，設測試集中的低分辨率人臉圖像I_tl對應的低分辨率人臉梯度特征圖像g_tl的第j塊人臉梯度特征圖像塊為g_tl,j，對低分辨率人臉梯度特征圖像g_tl中的所有人臉圖像塊采用從上到下和從左到右的順序進行掃描，掃描的圖像塊與第j塊圖像塊不重復，計算掃描到的人臉梯度特征圖像塊與第j塊人臉梯度特征圖像塊的歐式距離，然后按照距離從小到大的順序對所有低分辨率人臉梯度特征圖像塊的距離進行排序，取距離最小的前n塊作為第j塊低分辨率人臉梯度特征圖像塊g_tl,j的相似圖像塊，設相似低分辨率人臉梯度特征圖像塊的編號集合為[v₁,v₂,...,v_n]，該編號集合對應的低分辨率人臉梯度特征圖像塊的集合為由此完成利用測試集中的低分辨率人臉圖像I_tl對應的低分辨率人臉梯度特征圖像g_tl求相似塊的編號的過程；

第十步，利用相似塊的位置編號求訓練集中擴充后的低分辨率人臉梯度特征圖像集G_l中的所有圖像在相同編號處的圖像塊組成的集合：

對上述第二步中的訓練集中擴充后的低分辨率人臉梯度特征圖像集G_l中的第i,i＝1,2,...,M幅人臉圖像中編號為j的人臉特征圖像塊和上述第九步中的相似低分辨率人臉梯度特征圖像塊的編號集合為[v₁,v₂,...,v_n]中相同的圖像塊組成集合則訓練集中擴充后的低分辨率人臉梯度特征圖像集G_l中所有圖像中編號為j的圖像塊和相似低分辨率人臉梯度特征圖像塊的編號集合[v₁,v₂,...,v_n]的圖像塊組成的集合為：

為方便書寫，將記為：

其中M*(1+n)表示有M幅人臉圖像，每幅人臉圖像有1+n個圖像塊；

第十一步，利用相似塊的位置編號求訓練集中擴充后的高分辨率人臉梯度特征圖像集G_h中的所有圖像在相同編號處的圖像塊組成的集合：

對上述第二步中的訓練集中擴充后的高分辨率人臉梯度特征圖像集G_h中的第i,i＝1,2,...,M幅圖像中編號為j和上述第九步中的相似低分辨率人臉梯度特征圖像塊的編號集合為[v₁,v₂,...,v_n]的圖像塊組成集合則訓練集中擴充后的高分辨率人臉梯度特征圖像集G_h中所有圖像編號為j和[v₁,v₂,...,v_n]的圖像塊組成的集合為:

為方便書寫，將記為：

第十二步，利用相似塊的位置編號求擴充后低分辨率人臉圖像集P_l中所有人臉圖像在相同編號處的圖像塊組成的集合：

對上述第一步中的擴充后低分辨率人臉圖像集P_l中的第i,i＝1,2,...,M幅人臉圖像中編號為j和上述第九步中的相似低分辨率人臉梯度特征圖像塊的編號集合為[v₁,v₂,...,v_n]的圖像塊組成集合則P_l中所有圖像編號為j和[v₁,v₂,...,v_n]的圖像塊組成的集合為:

為方便書寫，將記為：

第十三步，利用相似塊的位置編號求擴充后高分辨率人臉圖像集P_h中所有人臉圖像在相同編號處的圖像塊組成的集合：

對上述第一步中的擴充后高分辨率人臉圖像集P_h中的第i,i＝1,2,...,M幅人臉圖像中編號為j和上述第九步中的相似低分辨率人臉梯度特征圖像塊的編號集合為[v₁,v₂,...,v_n]的圖像塊組成集合則P_h中所有圖像編號為j和[v₁,v₂,...,v_n]的圖像塊組成集合為:

為方便書寫，將記為：

第十四步，計算第j塊人臉圖像塊對應的權重矩陣：

先用如下的公式(9)計算上述第八步測試集中的低分辨率人臉圖像I_tl對應的梯度特征圖像的第j塊人臉圖像塊g_tl,j與上述第十步得到的中所有人臉圖像塊的歐式距離集合再用如下的公式(10)計算上述第七步測試集中放大的高分辨率人臉圖像I_th對應的高分辨率人臉梯度特征圖像g_th的第j塊圖像塊g_th,j與上述第十一步中的中所有圖像塊的歐式距離集合

得到以上距離后，第j塊的權重矩陣W_j由公式(11)求出：

其中α為平滑因子；

第十五步，計算第j塊人臉圖像塊對應的映射矩陣：

將訓練集中由第j塊低分辨率人臉圖像塊得到對應的第j塊高分辨率人臉圖像塊的映射過程記為簡單的映射關系，得到公式：

其中A_j表示第j塊人臉圖像塊的映射矩陣，T表示矩陣的轉置，最優(yōu)映射矩陣由以下公式(13)得到：

由于高分辨率人臉圖像塊與低分辨率人臉圖像塊之間并不是簡單的映射關系，利用第十四步得到的距離矩陣對公式(13)進行平滑約束得到以下平滑回歸公式(14)：

其中其中tr(.)為矩陣的跡，為了使映射過程更平滑，加入正則化項得到如下公式(15)：

其中F表示Frobenius范數，λ用來權衡重建誤差和A_j的稀疏性，通過化簡求出第j塊圖像對應的映射矩陣：

其中E表示單位矩陣；

第十六步，重建測試集中的低分辨率人臉圖像塊得到高分辨率人臉圖像塊：

通過得到測試集中低分辨率人臉圖像I_tl中的人臉圖像塊I_tl,j對應的高分辨率人臉圖像塊的高頻信息，然后將高頻信息插值到I_tl,j中得到重建的人臉圖像塊I′_th,j；

第十七步，組合所有重建圖像塊到重建的高分辨率人臉圖像：

按照從上到下和從左到右的順序，將重建得到的所有人臉圖像塊按照編號進行組合，組合過程中重疊部分取均值，得到重建的高分辨率人臉圖像I′_th；

第十八步，構建金字塔人臉超分辨率重建模型：

(18.1)對上述第十七步得到的I′_th使用最近鄰插值方法進行降維，得到降維后的低分辨率人臉圖像I′_tl，使降維后的人臉圖像與I_tl的大小相同；

(18.2)用上述第一步到第十七步的步驟對訓練集中所有的低分辨率人臉圖像進行重建，對訓練集中的第i幅低分辨率人臉圖像進行重建的過程為：作為測試集中低分辨率人臉圖像，訓練集中的和作為訓練集，利用上述第一步到第十七步重建得到高分辨率圖像然后用最近鄰插值方法對進行降維，得到

(18.3)取高分辨率人臉圖像的分塊大小為R₂*R₂像素，R₂的數值為6～10，且R₂≠R₁，高分辨率圖像塊之間重疊的像素個數為K₂，低分辨率人臉圖像的分塊大小為(R₂/d)*(R₂/d)像素，d為縮小倍數且與第一步中的d取值相同，低分辨率圖像塊之間重疊的像素個數為K₂/d，將(18.1)得到的I′_tl作為測試集中低分辨率人臉圖像，(18.2)得到的和作為訓練集，再進行一次人臉圖像超分辨率重建過程，得到最終的重建人臉圖像；

至此，完成B.測試集中低分辨率人臉圖像的重建過程，也最終完成基于回歸模型的金字塔人臉圖像超分辨率重建。

2.根據權利要求1所述基于回歸模型的金字塔人臉圖像超分辨率重建方法，其特征在于：所述第一步，擴充訓練集中低分辨率人臉圖像集和高分辨率人臉圖像集中的尺寸為(d*a)*(d*b)像素，d是倍數，該d的數值為2；所述第三步，對擴充后的高分辨率人臉圖像集P_h及其對應的高分辨率人臉梯度特征圖像集G_h分別進行分塊中的與左右相鄰圖像塊之間重疊K₁列像素，該K₁的數值為4；所述第四步，對擴充后的低分辨率人臉圖像集P_l及其對應的低分辨率人臉梯度特征圖像集G_l分別進行分塊中的每塊大小為(R₁/d)*(R₁/d)像素，該d的數值為2；與左右相鄰圖像塊之間重疊K₁/d列像素，該K₁的數值為4；所述第七步，對測試集中的放大的高分辨率人臉圖像I_th及其對應的高分辨率人臉梯度特征圖像g_th進行分塊中的重疊的方式是當前圖像塊與上下相鄰圖像塊之間重疊K₁行像素，與左右相鄰圖像塊之間重疊K₁列像素，該K₁的數值為4；所述第八步，對測試集中的低分辨率人臉圖像I_tl及其對應的低分辨率人臉梯度特征圖像g_tl進行分塊中的每塊大小為(R₁/d)*(R₁/d)，該d的數值為2；與左右相鄰圖像塊之間重疊K₁/d列像素，該K₁的數值為4；所述第十八步，構建金字塔人臉超分辨率重建模型的(18.3)中高分辨率圖像塊之間重疊的像素個數為K₂，該K₂的數值為4；低分辨率人臉圖像的分塊大小為(R₂/d)*(R₂/d)像素，d為縮小倍數且與第一步中的d取值相同，該d的取值為2。