[發(fā)明專利]一種基于先驗信息和注意力融合機(jī)制的人臉超分辨方法

在審

• 申請?zhí)枺?/td>: 202110794066.2
• 申請日: 2021-07-14
• 公開（公告）號: CN113658040A
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計）人: 張九龍;馬仲杰;屈小娥
• 申請（專利權(quán)）人: 西安理工大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 韓玙

1.一種基于先驗信息和注意力融合機(jī)制的人臉超分辨方法，其特征在于，具體按照如下步驟實(shí)施：

步驟1，下載原始圖像數(shù)據(jù)集，包括原始人臉圖像以及原始人臉解析圖p～并進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)增強(qiáng)處理后的原始圖像輸入到降質(zhì)模型中處理得到低分辨率圖像，再將低分辨率圖像進(jìn)行雙三次上采樣得到與高分辨圖像一樣大小的圖像作為低分辨率數(shù)據(jù)集，最將數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

步驟2，將步驟1獲得的訓(xùn)練集圖像輸入到粗略超分辨網(wǎng)絡(luò)中進(jìn)行處理得到粗略超分辨處理后的訓(xùn)練集圖像I_SR1；

步驟3，將步驟2中得到的訓(xùn)練集圖像I_SR1輸入到編碼器網(wǎng)絡(luò)中進(jìn)行特征提取得到特征圖f；

步驟4，將步驟2中獲得的訓(xùn)練集圖像I_SR1輸入到先驗信息提取網(wǎng)絡(luò)中提取先驗信息得到解析圖p，其中先驗信息提取網(wǎng)絡(luò)由ResNet和堆疊沙漏網(wǎng)絡(luò)組成；

步驟5，將步驟3得到的特征圖f和步驟4得到的解析圖p輸入到特征融合網(wǎng)絡(luò)中進(jìn)行解析圖和特征圖的融合，得到融合后的特征圖f_Fusion。

步驟6，將步驟5中得到的特征圖f_Fusion輸入到解碼器網(wǎng)絡(luò)中進(jìn)行解碼，得到最終的超分辨處理結(jié)果I_SR。

步驟7，將步驟2獲得的I_SR1和原始圖像輸入逐像素?fù)p失函數(shù)中計算得到損失函數(shù)l₁，將步驟4得到的解析圖p和原始圖像數(shù)據(jù)集中的解析圖輸入到逐像素?fù)p失函數(shù)中計算得到損失函數(shù)l₂，將步驟6得到的超分辨處理結(jié)果I_SR和原始圖像輸入到逐像素?fù)p失函數(shù)中計算得到損失函數(shù)l₃，將上面的損失函數(shù)加起來得到聯(lián)合損失函數(shù)L_total。不斷地迭代使損失函數(shù)最小化，經(jīng)過訓(xùn)練最后生成超分辨網(wǎng)絡(luò)模型；

步驟8，設(shè)定超分辨網(wǎng)絡(luò)模型的超參數(shù)，將步驟1經(jīng)過預(yù)處理好的測試集輸入到超分辨率網(wǎng)絡(luò)模型中，經(jīng)過殘差網(wǎng)絡(luò)處理和損失函數(shù)最小化迭代，最后產(chǎn)生細(xì)節(jié)紋理清楚、效果更好的高分辨率人臉圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟1具體為：

步驟1.1，下載數(shù)據(jù)集，獲得高清人臉圖像，并使用matlab的resize函數(shù)將圖像裁剪為128x128作為原始圖像尺寸，來減少計算量；

步驟1.2，將數(shù)據(jù)集中的全部圖像做鏡像翻轉(zhuǎn)，得到數(shù)據(jù)增強(qiáng)后的人臉數(shù)據(jù)集；

步驟1.3，對步驟1.2中得到的數(shù)據(jù)集進(jìn)行降質(zhì)處理，把數(shù)據(jù)集中所有圖像輸入到事先準(zhǔn)備好的退化模型中去生成對應(yīng)的低分辨率人臉圖像，模擬現(xiàn)實(shí)中的退化過程；

步驟1.4，對步驟1.3中得到的低分辨率人臉圖像做雙三次上采樣操作，得到與原始圖像尺寸一致的低分辨率人臉圖像I_LR；

步驟1.5，根據(jù)6：2：2的比例將步驟1.4中的數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟2具體為：

對步驟1.5中得到的低分辨率人臉圖像I_LR進(jìn)行粗略的超分辨處理，即將I_LR圖像導(dǎo)入CoarseSRNet網(wǎng)絡(luò)中處理得到I_SR1；如公式2所示，

I_SR1＝CoarseSRNet(I_LR) (2)

其中I_LR表示雙三次上采樣之后的低分辨率圖像，CoarseSRNet表示采用的粗略超分辨率網(wǎng)絡(luò)；

步驟2中的CoarseSRNet網(wǎng)絡(luò)采用3x3卷積核和ReLU激活函數(shù)，使用64個濾波器生成64個特征映射，最終經(jīng)過3x3卷積得到粗略超分辨之后的結(jié)果I_SR1。