[發明專利]一種基于多尺度字典的圖網絡人臉恢復方法

有效

• 申請號: 202110525279.5
• 申請日: 2021-05-11
• 公開（公告）號: CN113128624B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 蹇木偉;王芮;王星;陳吉;董良;董波;黃振;何為凱;陳振學;尹義龍
• 申請（專利權）人: 山東財經大學;臨沂大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V40/16;G06V10/80;G06V10/82;G06V10/74;G06V10/762;G06N3/0464;G06N3/08
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 張貴賓

1.一種基于多尺度字典的圖網絡人臉恢復方法，其特征在于,具體步驟如下：

S1：多尺度語義成分離線字典構建模塊：構建用于生成字典的高分辨人臉圖像數據集I_HR；

S2：根據人臉解析圖生成人臉語義成分庫

S3：提取每個語義成分的多尺度特征，生成多尺度的人臉語義成分特征庫

S4：構建多尺度人臉語義成分字典Dic_i,s；

S5：建圖像降級模型，生成低質量人臉數據集I_LR，降級模型：

其中表示I_HR和模糊核k的卷積操作，k這里取高斯模糊；↓r表示下采樣操作，r值在{1：0.1：8}中隨機采樣；n_σ表示加性高斯白噪聲，噪聲級別σ在{0：1：15}中隨機采樣；JPEG_q表示JPEG壓縮操作，質量因素q在{40：1：80}中隨機采樣；

S6：對I_LR的數據預處理，重復S2-S3；

S7：查詢字典，獲得與I_LR相似的κ語義成分，保存為

S8：圖模型構建：在不同的尺度上，分別將與其最相似的k個字典語義實體連接，構建分布式多尺度的圖網絡G_k(V,ε)，其中頂點集V，包括I_LR中的7個語義成分和分別在字典Dic_i,s中查詢到的k個相似成分；ε是兩個成分集合中相對應同類頂點的相似度加權連接；

S9：語義特征融合：采用分布式漸進式的方式對I_LR中的進行特征融合增強；在每一個尺度上的特征融合公式如下：

其中，和分別表示I_LR中第i個語義成分在尺度s上的輸入和輸出特征，是中的第j個相似語義成分的特征圖，我們定義來估計融合權重，越相似則賦予權重越大，最后輸出由進行歸一化處理，且

每個成分在每一個尺度上的融合結果都將作為中間結果再次聯結融合作為最終的融合結果，即

其中cat(.)表示級聯操作；

S10：根據語義位置對進行重組，得到最終的高質量人臉圖像。

2.根據權利要求1所述的一種基于多尺度字典的圖網絡人臉恢復方法,其特征在于,所述步驟S2中具體步驟如下：

S2-1：對數據集I_HR做預處理：使用dilb工具檢測人臉，預測人臉的landmarks；然后對齊人臉，生成圖像

S2-2：使用預訓練好的人臉解析網絡Φ_FP生成的解析圖像，記作其中Φ_FP的網絡結構是在4個下采樣模塊后插入10個resnet?blocks，然后接著4個上采樣模塊，最后是兩個卷積層用來輸出

S2-3：語義成分分割；根據中各個語義成分的坐標位置索引，反向映射到并返回原始成分其中h表示I_HR中第h個高分辨人臉圖像，i∈{左眼，右眼，鼻子，左眉毛，右眉毛，嘴巴，皮膚}，表示第i種面部成分類型；最后，將所有的混合在一起，構成人臉語義成分庫

3.根據權利要求1所述的一種基于多尺度字典的圖網絡人臉恢復方法,其特征在于,所述步驟S3中具體步驟如下：

S3-1：將每張成分下采樣為大小為224*224的圖像；

S3-2：利用預訓練好的ResNet50網絡在不同的層次上提取的不同尺度特征，記作F_i,s，其中s∈{1,2,3,4},表示4個不同的層級的尺度；

S3-3：不同尺度的特征分別形成集合，從而生成多尺度的人臉語義成分特征庫