[發(fā)明專利]基于降質(zhì)分類和定向數(shù)據(jù)增廣的魯棒人臉超分辨處理方法

有效

• 申請?zhí)枺?/td>: 202011304969.X
• 申請日: 2020-11-20
• 公開（公告）號: CN112233021B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計）人: 陳亮;吳怡;徐哲鑫;陳冠楠;鄒文斌;許宇翔;謝余杭
• 申請（專利權(quán)）人: 福建師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V40/16;G06V10/762;G06K9/62;G06T7/11
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于降質(zhì)分類和定向數(shù)據(jù)增廣的魯棒人臉超分辨處理方法，其特征在于，包括如下步驟：

步驟S1、構(gòu)建包含高分辨率人臉圖像庫及其對應(yīng)的低分辨率人臉圖像庫的原始訓練庫，以及若干種極低降質(zhì)增廣庫，在這些庫中，低分辨率人臉圖像庫由高分辨率人臉圖像庫下降質(zhì)量而生成；

步驟S2、基于原始訓練庫和增廣庫中低分辨率人臉圖像庫，在新的特征空間中構(gòu)建用于降質(zhì)類別判定的特征庫；

步驟S3、根據(jù)步驟S2構(gòu)建的特征庫對降質(zhì)特征進行提取并聚類，獲得每個類別的聚類中心；

步驟S4、將待處理低分辨率圖像投影至分類特征空間中，根據(jù)待處理低分辨率圖像特征值與各個聚類中心點的距離，判定其所屬降質(zhì)目標類別；

步驟S5、根據(jù)待處理低分辨率圖像所屬的降質(zhì)目標類別，構(gòu)建自適應(yīng)高低分辨率增廣庫；

步驟S6、在自適應(yīng)高低分辨率增廣庫中，求得低分辨率增廣庫的表達系數(shù)，并根據(jù)表達系數(shù)和對應(yīng)高分辨率增廣庫的塊，求得重建高分辨率圖像塊；

步驟S7、通過重建高分辨率圖像塊，拼接高分辨率人臉圖像塊；

所述步驟S4具體實現(xiàn)如下：

首先，針對待處理低分辨率圖像x_in，計算其投影到特征h的特征值，公式如下：

h_in＝FeatureH(x_in)

其中，h_in為x_in特征h的特征值；

其次，計算h_in到每個類別的聚類中心點ctr_A、ctr_B、ctr_C的距離，計算方法如下：

其中dis_A，dis_B，dis_C分別是h_in到ctr_A、ctr_B、ctr_C的距離，e為自然對數(shù)，L為h_in的維度；

最后，取三者之間的最小值，令dis表示最小值，公式表示為：

dis＝min(dis_A,dis_B,dis_C)

dis所在的類別即為目標類別C_target，該類別所對應(yīng)的圖像庫則為目標增廣庫，表示為T_tar＝X_tar,Y_tar；

所述步驟S5具體實現(xiàn)如下：

根據(jù)待處理低分辨率圖像所屬的降質(zhì)目標類別C_target，為其自適應(yīng)的構(gòu)建高低分辨率增廣庫，即：將T_O＝X,Y和T_tar＝X_tar,Y_tar兩個庫分別在高低分辨率空間內(nèi)拼接，組合形成新的高低分辨率庫對，作為待處理低分辨率圖像x_in的重建圖像庫T_F＝X_F,Y_F；

所述步驟S6具體實現(xiàn)如下：

在為待處理低分辨率圖像x_in重建高分辨率塊時，取出其位置i對應(yīng)的待處理圖像塊取出其位置i對應(yīng)的低分辨率重建圖像庫塊集合其位置i對應(yīng)的高分辨率重建圖像庫塊集合

對于X_F，其分塊方法為：對X_F中的每一張人臉圖像，進行無差別的均勻分塊，分塊窗口大小即塊大小記為bb，交疊像素尺寸個數(shù)為dd，因此窗口滑動步長為bb-dd，假設(shè)每張人臉圖像長度和寬度分別為imrow和imcol個像素，那么可以通過計算得出每張圖像被分成M＝U×V塊，其中U表示長度方向上分成的塊數(shù)，V表示寬度方向上分成的塊數(shù)，二者的求取公式為：

U＝ceil((imrow-dd)/(bb-dd))

V＝ceil((imcol-dd)/(bb-dd))

設(shè)i表示位置標號，i＝1,2,3,...,M；

從待處理低分辨率圖像x_in獲得和從高分辨率重建圖像庫塊集合Y_F獲得的分塊方法同上；

通過尋求表示系數(shù)，記作向量獲得重建塊；尋求表示系數(shù)的方式是設(shè)計特定的正則項最小化重建誤差，對于增加距離約束的二范數(shù)誤差，目標函數(shù)如下：

其中，λ表示平衡系數(shù)，D_F表示圖像庫T_F和待處理圖像塊決定的距離約束對角陣，即D_F＝diag{d_1,F,d_2,F,...,d_n,F}，對角元素計算方法為：

其中表示低分辨率重建圖像庫塊集合的第n個元素，有

得到表示系數(shù)后，將系數(shù)和權(quán)重向量投影回到高分辨率空間，得到高分辨率空間重表達結(jié)果，公式記作：