[發明專利]基于高級特征的人臉修復方法

有效

• 申請號: 201811244307.0
• 申請日: 2018-10-24
• 公開（公告）號: CN109360170B
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 劉瑞軍;李善璽;師于茜;王向上
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京晟睿智杰知識產權代理事務所(特殊普通合伙) 11603
• 代理人: 于淼

1.一種基于高級特征的人臉修復方法，其特征在于，包括：

獲取破損人臉圖像；

將所述破損人臉圖像輸出為兩個呈軸對稱的圖像矩陣；

在每個所述圖像矩陣中確定破損區域；

檢測與所述破損區域相對稱的區域是否破損；

如果檢測到與所述破損區域相對稱的區域破損，提取所述破損人臉圖像的高級特征，其中，所述高級特征為人臉圖像所對應的人的特征；

獲取參考數據集，其中，所述參考數據集包括多個人臉圖像的數據，每個所述人臉圖像的數據包括人臉圖像和所述高級特征；

從所述參考數據集中獲取與所述破損人臉圖像的高級特征相同的人臉圖像，作為參考人臉圖像；

根據所述參考數據集中的人臉圖像模擬得到模擬人臉圖像；

在所述模擬人臉圖像中提取所述破損區域對應的數據，得到初始修復數據；

根據所述參考人臉圖像以及所述破損人臉圖像對所述初始修復數據進行優化，得到修復數據；

采用所述修復數據對所述破損人臉圖像進行修復，生成修復完成的人臉圖像；

其中，所述根據所述參考人臉圖像以及所述破損人臉圖像對所述初始修復數據進行優化，得到修復數據的步驟，包括：

根據所述初始修復數據使用最優編碼公式中的紋理損失函數提取所述破損人臉圖像中未破損區域的紋理信息；

使用最優編碼公式中的內容損失函數提取所述參考人臉圖像的內容信息，結合所述未破損區域的紋理信息、所述內容信息以及初始修復數據得到最優編碼，通過所述最優編碼得到修復數據；

所述最優編碼公式為：為最優編碼，z為所述模擬人臉圖像的圖像值，L(z)為包括所述紋理損失函數與所述內容損失函數的總損失函數；

所述內容損失函數：

其中，代表參考人臉圖像，代表初始修復數據，l代表參考人臉圖像的層數，[i，j]代表人臉參考圖像中位于第i行、第j列處的像素，R^l代表參考人臉圖像在第l層的特征代表，F^l代表初始修復數據在第l層的特征代表；R、其中為向量，N_l×M_l為向量的維度，N_l代表第l層的特征矩陣的數量，M_l代表第l層的特征矩陣的高×寬；

所述紋理損失函數：

其中，代表破損人臉圖像，代表生成的圖片，L代表破損人臉圖像的層數，w_ij代表[i，j]像素處的權重，B^l代表破損人臉圖像在第l層特征矩陣的格雷姆矩陣，G^l代表初始修復數據在第l層特征矩陣的格雷姆矩陣，其中N_l代表第l層的特征矩陣的數量，M_l代表第l層的特征矩陣的高×寬；格雷姆矩陣用于獲取當前l層中不同特征矩陣的特征相關性。

2.根據權利要求1所述的基于高級特征的人臉修復方法，其特征在于，如果檢測到與所述破損區域相對稱的區域未破損，則通過對稱算法對所述破損人臉圖像進行修復；

所述對稱算法為：v＝R(u)；

其中，所述v為損壞像素點，R為映射規則，u為映射參考點。

3.根據權利要求1或2所述的基于高級特征的人臉修復方法，其特征在于，所述高級特征包括：膚色、表情和年齡。

4.根據權利要求3所述的基于高級特征的人臉修復方法，其特征在于，所述表情包括以下任意一種或多種：

生氣、厭惡、恐懼、開心、悲傷、驚訝和正常。

5.根據權利要求4所述的基于高級特征的人臉修復方法，其特征在于，所述高級特征還包括：性別。

6.根據權利要求5所述的基于高級特征的人臉修復方法，其特征在于，提取所述破損人臉圖像的高級特征的步驟具體包括：

對所述破損人臉圖像的RGB進行均值偏移聚類計算，丟棄所述破損人臉圖像中因強光或照明引起的異常值，進行K-Means聚類算法計算，計算得到的簇群中心值為膚色；

分別訓練單獨的線性SVM分類器，以分別對年齡、性別以及表情進行提取，得到所述破損人臉圖像的高級特征。