[發(fā)明專利]人臉圖像超分辨率重建方法、裝置、計算機設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011625249.3
• 申請日: 2020-12-30
• 公開（公告）號: CN112669212A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計）人: 匡立中;蔡亮;李偉;邱煒偉;張帥;李吉明
• 申請（專利權(quán)）人: 杭州趣鏈科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/04
• 代理公司: 深圳眾鼎匯成知識產(chǎn)權(quán)代理有限公司 44566
• 代理人: 張宏杰

本發(fā)明公開了一種人臉圖像超分辨率重建方法、裝置、計算機設(shè)備及介質(zhì)，所述方法包括：通過獲取低分辨人臉圖像，將低分辨人臉圖像輸入到人臉超分辨生成對抗網(wǎng)絡(luò)中，人臉超分辨生成對抗網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，生成網(wǎng)絡(luò)包括人臉圖像編碼層、人臉圖像解碼層和人臉關(guān)鍵點信息獲取層，通過人臉圖像編碼層和人臉關(guān)鍵點信息獲取層，分別對低分辨人臉圖像進行特征提取，再采用人臉圖像解碼層，提取到的特征進行解碼處理，得到高分辨人臉圖像，采用判別網(wǎng)絡(luò)判別生成的高分辨人臉圖像的真假，進而確定目標圖像，本發(fā)明提高了重構(gòu)高分辨率圖像的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種人臉圖像超分辨率重建方法、裝置、計算機設(shè)備及介質(zhì)。

背景技術(shù)

圖像超分辨率重建是計算機視覺領(lǐng)域的一個經(jīng)典問題。它是一種圖像提高成像分辨率的技術(shù)。它旨在將給定的低分辨率圖像恢復(fù)為高分辨率圖像。人臉超分辨率重建是其中的重要分支之一。人臉超分辨率重建在人臉識別、身份認證、智能監(jiān)控等諸多領(lǐng)域有著重要的應(yīng)用價值。但是，由于攝像頭設(shè)備物理特性、光照條件和距離等問題的影響，監(jiān)控視頻中的人臉圖像往往分辨率較低，人臉細節(jié)信息不夠突出，目前人臉識別算法僅僅對于高分辨率人臉圖像可以得到較高的識別率，而對低分辨率人臉圖像的識別率較低。因而，需要對人臉圖像進行超分辨率重建。

目前對人臉圖像進行超分辨率重建，比較常見的方法主要是基于插值的方法和基于重建的方法理?；诓逯档姆椒ㄊ潜容^常見的方法，普遍應(yīng)用于圖像的上采樣操作。最為經(jīng)典的插值算法包括最近鄰插值算法、雙線性插值算法和雙三次插值算法。基于重建的方法理論源于成像降質(zhì)模型，主要是提取低分辨圖像中的非冗余信息，并采用特定方法生成高分辨圖像。發(fā)明人在實現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在如下問題：插值算法的主要思路是根據(jù)已有的像素位置信息，估計未知像素信息，計算速度快但存在大量細節(jié)丟失的問題，使得重建圖像質(zhì)量不佳，采用重建的方法可以利用到多張低分辨圖像的信息，但缺點是需要精確的亞像素運動信息，當圖像出現(xiàn)配準偏差等現(xiàn)象時，無法獲得圖像的高頻信息，導(dǎo)致重建效果不佳，且需要復(fù)雜的模型設(shè)計，因而，亟需一種提高超分辨率重建圖像質(zhì)量的方法。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種人臉圖像超分辨率重建方法、裝置、計算機設(shè)備和存儲介質(zhì)，以提高當前超分辨率重建得到圖像的質(zhì)量。

為了解決上述技術(shù)問題，本申請實施例提供一種人臉圖像超分辨率重建方法，包括：

獲取低分辨人臉圖像；

將所述低分辨人臉圖像輸入到人臉超分辨生成對抗網(wǎng)絡(luò)中，所述人臉超分辨生成對抗網(wǎng)絡(luò)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，所述生成網(wǎng)絡(luò)包括人臉圖像編碼層、人臉圖像解碼層和人臉關(guān)鍵點信息獲取層；

通過所述人臉圖像編碼層，對所述低分辨人臉圖像進行特征提取，得到特征映射圖；

通過所述人臉關(guān)鍵點信息獲取層，對所述低分辨人臉圖像進行關(guān)鍵點提取，得到人臉關(guān)鍵點特征圖；

采用所述人臉圖像解碼層，對所述特征映射圖和所述人臉關(guān)鍵點特征圖進行解碼處理，得到高分辨人臉圖像；

采用所述判別網(wǎng)絡(luò)對所述高分辨人臉圖像進行判別，得到第一判別結(jié)果，其中，所述第一判別結(jié)果包括真和假中的一種；

若所述第一判別結(jié)果為假，則采用所述人臉超分辨生成對抗網(wǎng)絡(luò)對所述高分辨人臉圖像進行重新構(gòu)建，若所述第一判別結(jié)果為若判別結(jié)果為真，則將所述高分辨人臉圖像作為目標圖像。

可選地，所述人臉圖像編碼層采用稠密塊Dense Block進行網(wǎng)絡(luò)層級的連接。

可選地，所述通過所述人臉關(guān)鍵點信息獲取層，對所述低分辨人臉圖像進行關(guān)鍵點提取，得到人臉關(guān)鍵點特征圖包括：

基于Dlib庫，從所述低分辨人臉圖像中進行人臉關(guān)鍵點獲取，得到人臉關(guān)鍵點；