[發(fā)明專利]一種基于多重殘差學(xué)習(xí)的人臉增強方法

有效

• 申請?zhí)枺?/td>: 201711182803.3
• 申請日: 2017-11-23
• 公開（公告）號: CN107729885B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 張力元;胡金暉
• 申請（專利權(quán)）人: 中電科新型智慧城市研究院有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 深圳市中科創(chuàng)為專利代理有限公司 44384
• 代理人: 梁炎芳;謝亮

本發(fā)明公開了一種基于多重殘差學(xué)習(xí)的人臉增強方法，其包括如下步驟：S10，準(zhǔn)備多組不同低質(zhì)程度的低質(zhì)人臉圖像集和與每一低質(zhì)人臉圖像集對應(yīng)的原始人臉圖像集，分別作為多組訓(xùn)練集的低質(zhì)樣本和標(biāo)簽樣本；S20，構(gòu)造殘差學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，使用多組訓(xùn)練集依次擬合殘差學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的參數(shù)，生成多重殘差模型；S30，使用所述步驟S20中生成的多重殘差模型，采用迭代法對待處理的人臉圖像進行增強。本發(fā)明提供的基于多重殘差學(xué)習(xí)的人臉增強方法通過訓(xùn)練不同低質(zhì)程度的殘差模型，學(xué)習(xí)不同低質(zhì)程度的人臉圖像中所包含的噪聲和細節(jié)，增強了模型的細節(jié)補充能力和抗噪能力，且具有誤差小、容錯性高的特點。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉增強的技術(shù)領(lǐng)域，特別涉及一種基于多重殘差學(xué)習(xí)的人臉增強方法。

背景技術(shù)

隨著各地智慧城市的建設(shè)和發(fā)展，視頻安防和視頻刑偵等技術(shù)受到越來越多的關(guān)注。現(xiàn)在的視頻成像技術(shù)，常受到如低光照等外部環(huán)境的影響，使得所采集的到視頻圖像質(zhì)量不高。尤其是模糊、低質(zhì)的人臉圖像，大大提高了人臉識別的難度，也使得安防和刑偵等工作更加艱難。

現(xiàn)有的人臉增強方法多是基于關(guān)鍵點或圖像局部性實現(xiàn)的。前者關(guān)鍵點的識別精確程度直接影響到增強效果。而可惜的是圖像越低質(zhì)，關(guān)鍵點越難識別。后者則因為是基于局部性的，所以需要人臉的各個結(jié)構(gòu)，如眼、口、鼻等，比較準(zhǔn)確的對齊。遺憾的是，視頻中的人臉不可能都正對鏡頭，并且人工對齊將會花費大量的時間。這些都使得該方法的應(yīng)用場景受限，結(jié)果不理想。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的問題，本發(fā)明的主要目的是提供一種基于多重殘差學(xué)習(xí)的人臉增強方法，該方法無需人臉完全對齊或者正對鏡頭，也無需計算人臉圖像的關(guān)鍵點，其可以很好地學(xué)習(xí)低質(zhì)人臉中的噪聲和細節(jié)，增強了模型的細節(jié)補充能力和抗噪能力，且具有誤差小、容錯性高的特點。

為實現(xiàn)上述目的，本發(fā)明提出的基于多重殘差學(xué)習(xí)的人臉增強方法，其包括如下步驟：

S10，準(zhǔn)備多組不同低質(zhì)程度的低質(zhì)人臉圖像集和與每一低質(zhì)人臉圖像集對應(yīng)的原始人臉圖像集，分別作為多組訓(xùn)練集的低質(zhì)樣本和標(biāo)簽樣本；

S20，構(gòu)造殘差學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，使用多組訓(xùn)練集依次擬合殘差學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的參數(shù)，生成多重殘差模型；

S30，使用所述步驟S20中生成的多重殘差模型，采用迭代法對待處理的人臉圖像進行增強。

優(yōu)選地，所述步驟S10中，多組不同低質(zhì)程度的低質(zhì)人臉圖像集和與每一低質(zhì)人臉圖像集對應(yīng)的原始人臉圖像集的準(zhǔn)備過程如下：

S11，在每一組中，對各原始人臉圖像集分別進行加噪、加模糊，得到與每一原始人臉圖像集一一對應(yīng)不同低質(zhì)程度的低質(zhì)人臉圖像集；

S12，將多組低質(zhì)人臉圖像集分別作為多組訓(xùn)練集的低質(zhì)樣本，將多組原始人臉圖像集分別作為多組訓(xùn)練集的標(biāo)簽樣本，將每一低質(zhì)樣本和該低質(zhì)樣本對應(yīng)的標(biāo)簽樣本按對應(yīng)關(guān)系分割成若干圖像塊，生成多組結(jié)構(gòu)化的訓(xùn)練集。

優(yōu)選地，所述步驟S10中，多組不同低質(zhì)程度的低質(zhì)人臉圖像集和與每一低質(zhì)人臉圖像集對應(yīng)的原始人臉圖像集的準(zhǔn)備過程如下：

S11′，在不同的低質(zhì)環(huán)境下采集不同低質(zhì)程度的低質(zhì)人臉圖像集，將采集的低質(zhì)人臉圖像按低質(zhì)程度的高低依次進行分類；

S12′，將分類后的低質(zhì)人臉圖像分別作為多組訓(xùn)練集的低質(zhì)樣本，將每一低質(zhì)人臉圖像相對應(yīng)的原始人臉圖像集作為多組訓(xùn)練集的標(biāo)簽樣本，將每一低質(zhì)樣本和該低質(zhì)樣本對應(yīng)的標(biāo)簽樣本按對應(yīng)關(guān)系分割成若干圖像塊，生成多組結(jié)構(gòu)化的訓(xùn)練集。

優(yōu)選地，所述步驟S20中，構(gòu)造殘差學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，該殘差學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)包括依次連接的輸入層、若干中間層、以及殘差層，其構(gòu)造過程如下：

S21，在輸入層使用64個3×3的卷積核對第一組低質(zhì)樣本進行卷積，并使用修正線性單元ReLU對卷積的結(jié)果進行非線性化；