[發明專利]一種高低頻成分融合的人臉超分辨率處理方法及系統

有效

• 申請號: 201910290815.0
• 申請日: 2019-04-11
• 公開（公告）號: CN110490796B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 陳亮;吳怡;吳慶祥;林貴敏;徐哲鑫
• 申請（專利權）人: 福建師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 戴雨君

1.一種高低頻成分融合的人臉超分辨率處理方法，其特征在于，包括以下步驟：

S1：構建包含高分辨率人臉圖像庫T_c及其對應的中度低分辨率人臉圖像庫T_b和重度低分辨率人臉圖像庫的訓練庫T_a，構建基于通用圖像的高分辨率通用圖像庫和對應低分辨率通用圖像庫；具體地，

將高分辨率人臉圖像的眼睛和嘴巴位置對齊得到庫T_c；對高分辨率人臉圖像依次進行下采樣、模糊窗過濾、上采樣，得到與高分辨率人臉圖像對應的中度低分辨率人臉圖像庫T_b；對中度低分辨率人臉圖像依次進行下采樣、模糊窗過濾、上采樣，得到與高分辨率人臉圖像對應的重度低分辨率人臉圖像庫T_a；

S2：采用相同的分塊方式將中度和重度待處理低分辨率人臉圖像、以及訓練庫中圖像劃分為具交疊部分的圖像塊，所述的圖像塊為邊長為psize的正方形圖像塊，中度和重度待處理低分辨率人臉圖像分別表示為由下采樣得來，下采樣倍數和T_a由T_b下采樣的倍數相同；

S3：在分塊基礎上，分別為高分辨率人臉圖像庫和低分辨率人臉圖像庫做預處理，具體過程為：

為高分辨率人臉圖像庫中每一個圖像塊，從高分辨率人臉圖像庫中相同位置的其他圖像塊中找到其最近的K個圖像塊，定義為該圖像塊的預處理近鄰，并為每一個塊存儲預處理近鄰的標號；

為低分辨率人臉圖像庫中每一個圖像塊，從低分辨率人臉圖像庫中相同位置的其他圖像塊中找到其最近的K個圖像塊，定義為該圖像塊的預處理近鄰，并為每一個塊存儲預處理近鄰的標號；

S4：對待處理低分辨率人臉圖像每一塊，首先基于低分辨率人臉訓練庫和高分辨率人臉訓練庫，求取其中的低頻成分；具體過程包括以下子步驟：

S4.1：對待處理低分辨率人臉圖像每一塊，在對應位置的低分辨率訓練塊集合中查找其最近鄰塊，稱為直接錨點近鄰塊；

S4.2：利用對應關系，分別從低分辨率訓練塊集合和高分辨率訓練塊集合中找到直接錨點近鄰的對應塊集的索引集合，標記為Nin，即稱之為輸入待處理低分辨率人臉圖像塊的低頻近鄰索引集合；

S4.3：根據索引集合Nin，從重度低分辨率人臉訓練塊集合中度低分辨率人臉訓練塊集合中，分別取出近鄰塊集，記為和其中i表示分塊的標號，j的取值范圍為j∈Nin；

S4.4：根據和兩個近鄰集合，和待處理低分辨率人臉圖像塊求出最佳近鄰系數w，該子步驟具體為：

求出最佳近鄰系數w，即令中度和重度重建誤差均達到最小，來約束最佳近鄰系數w為最優，其中中度重建誤差最小用公式表述為：

其中是中度低質量圖像；D是對角矩陣，賦值方式為單位陣與實數S的乘積，S為實數值，根據經驗設置；λ為實數值，同樣根據經驗設置；經過符號簡化，上式可以重新寫為：

令和分別代表重度待處理低分辨率圖像的第i塊和中度待處理低分辨率圖像的第i塊，所以有用J對w求導并取零，即：可以得到最佳近鄰系數：

其中

S4.5：根據最佳近鄰系數w，由以下公式求出重建的高分辨率圖像塊作為中間結果：

其中表示根據索引集合Nin，在高分辨率訓練塊集合中取出的近鄰塊集，其中j∈Nin；

S4.6：根據重建的中間圖像塊結果可以求出低頻信息

其中操作符ds(·)代表下采樣過程，根據經驗獲取，在這里具體過程為：特定參數的高斯濾波；

S5：對得到的待處理低分辨率人臉圖像低頻信息基于低分辨率通用圖像庫和高分辨率通用圖像庫，求取其中的高頻成分，具體過程包括以下子步驟：

S5.1：搭建三層卷積神經網絡，具體過程為：

第一層CNN：對輸入圖片的特征提取過程，利用卷積網絡的性質提取圖像塊的特征，公式形式為：

F₁(Y)＝max(0,W₁*Y+B₁)

其中Y表示輸入的訓練樣本塊，F₁(·)表示第一層的處理操作，F₁(Y)表示第一層處理結果，W₁表示n1個支持三維矩陣的卷積核，n1表示卷積的個數，B₁是一個n1維的特征向量，n1為經驗值；

第二層CNN：非線性映射：對第一層提取的特征的非線性通過三維矩陣形式的卷積核映射到另一種特征尺度上，公式形式為：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)

其中F₂(·)表示第二層的處理操作，F₂(Y)表示第二層處理結果，W₂表示n2個三維的濾波器，B₂為一個n2維度的特征向量，n2為經驗值；

第三層CNN：用三維矩陣形式的卷積核重新做一次重構，對映射后的特征進行重建，生成高分辨率圖像，公式形式為：

F(Y)＝W₃*F₂(Y)+B₃

其中F(·)表示第三層的處理操作，F(Y)表示第三層處理結果，物理意義為高分辨率圖像像素矩陣，W₃表示c個三維的濾波器，B₃為一個c維度的特征向量，c為經驗值；

S5.2：利用低分辨率通用圖像庫和高分辨率通用圖像庫訓練出神經網絡參數；利用低分辨率通用圖像庫和高分辨率通用圖像庫訓練出三層神經網絡所需參數，即：W₁，W₂，W₃，B₁，B₂，B₃；

S5.3：將訓練好的參數、網絡構架一起，用S4步驟恢復出的待處理低分辨率人臉圖像低頻信息來做輸入，預測出結果作為高分辨率人臉圖像塊的結果；

S6：拼接高分辨率人臉圖像塊得高分辨率人臉圖像