[發明專利]人臉圖像生成方法、人臉識別模型訓練方法及相應裝置

在審

• 申請號: 201610370020.7
• 申請日: 2016-05-30
• 公開（公告）號: CN107451950A
• 公開（公告）日: 2017-12-08
• 發明（設計）人: 魯逸沁;周而進;印奇
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T5/50;G06T7/10;G06K9/00
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙)11481
• 代理人: 徐丁峰,張瑋

技術領域

本發明涉及圖像處理領域，更具體地涉及一種人臉圖像生成方法和裝置，以及人臉識別模型訓練方法和裝置。

背景技術

隨著圖像處理技術日新月異的發展，人臉圖像處理的應用場景也越來越多。例如人臉檢測和人臉識別等技術已經廣泛應用于安防、金融等領域。

人臉遮擋對人臉圖像處理系統的影響巨大，例如目前主流的統計或者機器學習的人臉識別模型。人的頭發(特別是劉海)是一種常見的人臉遮擋。下面以人臉識別模型為例說明人的頭發對人臉圖像處理系統的主要影響。1)很難收集大量帶劉海的人臉圖像用于人臉識別模型訓練；2)人的發型款式多變，形態變化大，劉海的樣式也千奇百怪，所以頭發很難用一個簡單的模型刻畫；3)頭發可改變圖像的統計特征、圖像特征，從而給人臉識別模型帶來識別干擾。

因此，需要一種人臉圖像生成方法和裝置，以提供各種發型的人臉圖像。進而，基于這大量的、具有各種發型的人臉的圖像可以獲得更理想的人臉圖像處理系統，例如人臉識別模型。

發明內容

考慮到上述問題而提出了本發明。本發明提供了一種人臉圖像生成方法和裝置，基于圖像中的關鍵點可以將人臉圖像和頭發圖像合成，從而可以獲得大量的、具有各種發型的人臉的合成圖像。

根據本發明一方面，提供了一種人臉圖像生成方法，包括：

獲取經標注人臉關鍵點的人臉圖像；

獲取經標注頭發關鍵點的頭發圖像，其中所述頭發關鍵點與所述人臉關鍵點對應；以及

基于所述人臉關鍵點和所述頭發關鍵點，將所述頭發圖像的頭發部分疊加到所述人臉圖像上，以獲得人臉合成圖像。

示例性地，所述所述頭發圖像的頭發部分疊加到所述人臉圖像上進一步包括：

根據所述人臉關鍵點和所述頭發關鍵點，獲取用于所述頭發圖像的變換矩陣；

利用所述變換矩陣對所述頭發圖像進行變換，以獲得投影到所述人臉圖像所在視平面的、經變換的頭發圖像；

對所述經變換的頭發圖像進行圖像分割，以獲得所述經變換的頭發圖像的頭發輪廓模板；以及

利用所述頭發輪廓模板，將所述經變換的頭發圖像的頭發部分疊加到所述人臉圖像上，以獲得所述人臉合成圖像。

示例性地，所述將所述頭發圖像的頭發部分疊加到所述人臉圖像上進一步包括：

對所述頭發圖像進行圖像分割，以獲得頭發輪廓模板；

根據所述人臉關鍵點和所述頭發關鍵點，獲取用于所述頭發圖像和所述頭發輪廓模板的變換矩陣；

利用所述變換矩陣對所述頭發圖像和所述頭發輪廓模板進行變換，以獲得投影到所述人臉圖像所在視平面的、經變換的頭發圖像和投影到所述人臉圖像所在視平面的、經變換的頭發輪廓模板；以及

利用所述投影到所述人臉圖像所在視平面的、經變換的頭發輪廓模板，將所述經變換的頭發圖像的頭發部分疊加到所述人臉圖像上，以獲得所述人臉合成圖像。

示例性地，在所述獲取變換矩陣之后，所述將所述頭發圖像的頭發部分疊加到所述人臉圖像上進一步包括：將所述變換矩陣中的至少部分元素增加噪聲，以用于所述變換。

示例性地，所述噪聲服從高斯分布。

示例性地，所述變換是透視變換。

示例性地，所述將所述經變換的頭發圖像的頭發部分疊加到所述人臉圖像上進一步包括：利用泊松融合方法將所述經變換的頭發圖像的頭發部分疊加到所述人臉圖像上。

示例性地，所述人臉關鍵點包括：正臉最高點、左眼角延長線與臉輪廓的交點、右眼角延長線與臉輪廓的交點和下巴。

根據本發明另一方面，還提供了一種人臉識別模型訓練方法，包括：

利用上述人臉圖像生成方法生成人臉合成圖像；以及

利用圖像庫進行人臉識別模型的訓練，其中所述圖像庫包括所述人臉合成圖像。

根據本發明再一方面，還提供了一種人臉圖像生成裝置，包括：

第一獲取模塊，用于獲取經標注人臉關鍵點的人臉圖像；

第二獲取模塊，用于獲取經標注頭發關鍵點的頭發圖像，其中所述頭發關鍵點與所述人臉關鍵點對應；以及

合成模塊，用于基于所述人臉關鍵點和所述頭發關鍵點將所述頭發圖像的頭發部分疊加到所述人臉圖像上，以獲得人臉合成圖像。

示例性地，所述合成模塊進一步包括：

矩陣生成單元，用于根據所述人臉關鍵點和所述頭發關鍵點，獲取用于所述頭發圖像的變換矩陣；

第一變換單元，用于利用所述變換矩陣對所述頭發圖像進行變換，以獲得投影到所述人臉圖像所在視平面的、經變換的頭發圖像；