[發(fā)明專利]人臉圖像超分辨率重建方法、裝置、計算機設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011625249.3
• 申請日: 2020-12-30
• 公開（公告）號: CN112669212A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計）人: 匡立中;蔡亮;李偉;邱煒偉;張帥;李吉明
• 申請（專利權(quán)）人: 杭州趣鏈科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04
• 代理公司: 深圳眾鼎匯成知識產(chǎn)權(quán)代理有限公司 44566
• 代理人: 張宏杰

1.一種人臉圖像超分辨率重建方法，其特征在于，所述人臉圖像超分辨率重建方法包括：

獲取低分辨人臉圖像；

將所述低分辨人臉圖像輸入到人臉超分辨生成對抗網(wǎng)絡(luò)中，所述人臉超分辨生成對抗網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，所述生成網(wǎng)絡(luò)包括人臉圖像編碼層、人臉圖像解碼層和人臉關(guān)鍵點信息獲取層；

通過所述人臉圖像編碼層，對所述低分辨人臉圖像進(jìn)行特征提取，得到特征映射圖；

通過所述人臉關(guān)鍵點信息獲取層，對所述低分辨人臉圖像進(jìn)行關(guān)鍵點提取，得到人臉關(guān)鍵點特征圖；

采用所述人臉圖像解碼層，對所述特征映射圖和所述人臉關(guān)鍵點特征圖進(jìn)行解碼處理，得到高分辨人臉圖像；

采用所述判別網(wǎng)絡(luò)對所述高分辨人臉圖像進(jìn)行判別，得到第一判別結(jié)果，其中，所述第一判別結(jié)果包括真和假中的一種；

若所述第一判別結(jié)果為假，則采用所述人臉超分辨生成對抗網(wǎng)絡(luò)對所述高分辨人臉圖像進(jìn)行重新構(gòu)建，若所述第一判別結(jié)果為若判別結(jié)果為真，則將所述高分辨人臉圖像作為目標(biāo)圖像。

2.如權(quán)利要求1所述的人臉圖像超分辨率重建方法，其特征在于，所述人臉圖像編碼層采用稠密塊Dense Block進(jìn)行網(wǎng)絡(luò)層級的連接。

3.如權(quán)利要求1所述的人臉圖像超分辨率重建方法，其特征在于，所述通過所述人臉關(guān)鍵點信息獲取層，對所述低分辨人臉圖像進(jìn)行關(guān)鍵點提取，得到人臉關(guān)鍵點特征圖包括：

基于Dlib庫，從所述低分辨人臉圖像中進(jìn)行人臉關(guān)鍵點獲取，得到人臉關(guān)鍵點；

針對所述低分辨人臉圖像中每個像素點，通過遍歷的方式，計算所述像素點到每個所述人臉關(guān)鍵點的距離，并將得到最小值作為所述像素點對應(yīng)的有效距離；

若所述有效距離小于預(yù)設(shè)閾值，則將所述有效距離對應(yīng)的像素點作為有效點；

在與所述低分辨人臉圖像相同大小的空白圖像中，寫入所述有效點和所述人臉關(guān)鍵點，得到所述人臉關(guān)鍵點特征圖。

4.如權(quán)利要求3所述的人臉圖像超分辨率重建方法，其特征在于，所述在與所述低分辨人臉圖像相同大小的空白圖像中，寫入所述有效點和所述人臉關(guān)鍵點，得到所述人臉關(guān)鍵點特征圖包括：

在與所述低分辨人臉圖像相同大小的空白圖像中，寫入所述有效點和所述人臉關(guān)鍵點，得到人臉關(guān)鍵點熱點圖；

對所述人臉關(guān)鍵點熱點圖進(jìn)行二值化處理，得到所述人臉關(guān)鍵點特征圖。

5.如權(quán)利要求1所述的人臉圖像超分辨率重建方法，其特征在于，所述采用所述人臉圖像解碼層，對所述特征映射圖和所述人臉關(guān)鍵點特征圖進(jìn)行解碼處理，得到高分辨人臉圖像包括：

將所述人臉關(guān)鍵點特征圖的特征大小，調(diào)整為與所述特征映射圖的特征大小一致，得到調(diào)整后的人臉關(guān)鍵點特征圖；

對所述特征映射圖與所述調(diào)整后的人臉關(guān)鍵點特征圖進(jìn)行串聯(lián)融合，將融合后的特征圖作為輸入數(shù)據(jù)；

對所述輸入數(shù)據(jù)進(jìn)行解碼處理，得到所述高分辨人臉圖像。

6.如權(quán)利要求5所述的人臉圖像超分辨率重建方法，其特征在于，所述人臉圖像解碼層采用稠密塊Dense Block進(jìn)行網(wǎng)絡(luò)層級的連接，所述對所述輸入數(shù)據(jù)進(jìn)行解碼處理，得到所述高分辨人臉圖像包括：

采用卷積核為a×a的卷積層，對所述輸入數(shù)據(jù)進(jìn)行卷積處理，得到第一特征，其中，a為正整數(shù)；

采用卷積核為(a+1)×(a+1)的反卷積層，對所述第一特征進(jìn)行采樣，得到第二特征；

通過預(yù)設(shè)數(shù)量的稠密塊Dense Block對所述第二特征進(jìn)行特征解碼，得到第三特征；

使用卷積核為a×a的卷積層對所述第三特征進(jìn)行三通道重建，得到所述高分辨人臉圖像。