[發明專利]基于生物啟發和深度屬性學習相結合的人臉美感預測方法

在審

• 申請號: 201711493994.5
• 申請日: 2017-12-31
• 公開（公告）號: CN108108715A
• 公開（公告）日: 2018-06-01
• 發明（設計）人: 紀榮嶸;陳福海
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06F3/01;G06N3/04;G06N3/08;A61B3/113
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

基于生物啟發和深度屬性學習相結合的人臉美感預測方法，涉及一種人臉美感預測方法。首先通過眼動儀獲取用戶觀察人臉圖像時的眼動信息，進而提取出人觀看人臉時的審美空間區域，通過聚類將審美空間區域劃分為若干特征空間，然后通過監督學習和卷積神經網絡方法訓練出人臉美感檢測器，訓練出的人臉美感檢測器對于一張正面的人臉圖像，預處理后能夠得到人臉圖像的美感等級。通過收集圖像的中層屬性特征信息提取了用戶觀察圖像時的審美空間區域，通過得到的人臉美感模型充分驗證了決定人臉美感的審美特征區域，并且相對于其他人臉美感評價方法在準確率方面有了很大的提升。

技術領域

本發明涉及一種人臉美感預測方法，特別是涉及一種基于生物啟發和深度屬性學習相結合的人臉美感預測方法。

背景技術

在當前人臉相關應用中，人臉美感預測受到了越來越多人的關注，在客戶端和移動端也得到了相關的應用，例如在用戶進行人臉拍照時，實時返回一個當前人臉的美感分數，幫助人們找出理想的拍照角度。但目前人臉美感技術中最關鍵的挑戰在于提取具有判別性和感知能力的特征來區分人臉面部分美感。到目前為止，現有刻畫人臉美感的方法主要依賴于手動提取的圖像底層特征，比如人臉的幾何特征的空間位置的計算，或人臉圖像的全局特征的判別等。對于基于幾何特征的方法，大多數的方法是，首先手動或自動的對人臉的關鍵點進行標注，根據這些關鍵點的位置計算人臉各個器官的比例關系，然后通過訓練得到分類回歸模型，用于人臉美感的分類回歸。對于基于人臉的全局特征的方法，將整個預處理后的人臉圖像輸入提取整張人臉的特征信息來進行人臉美感評價模型的訓練，不過由于人臉圖像的維度過高，造成的問題有，計算復雜度過高，且在高維空間中的分布稀疏，分類效果并不是很好。

中國專利201110177113.5發明提供了一種基于幾何特征的人臉美感分析方法，通過基于組合策略的局部幾何特征進行組合描述，并采用基于記憶的動態加權核密度估計(MDKDE)構建弱分類器，利用Adaboost集成學習機制實現特征的集成，得到人臉美感精確類別。與以往基于幾何特征的人臉美感分析技術不同的是，發明從歐氏距離、斜率和面積等多角度選取描述人臉美感的局部幾何特征，構成人臉美感的單一描述，并由局部幾何特征描述進行組合得到組合特征描述，并采用MDKDE構建Adaboost集成學習的弱分類器，對任意輸入的人臉圖像獲得了較好的分類結果。

以上這兩種方法不能揭示圖像語意信息的有效表達，盡管基于幾何特征的方法對人臉美感的分析也具有相關性，但是仍舊不能清晰的解釋人類大腦是如何利用這些幾何特征去分析和判別出人臉的美感，并沒有用科學的方法去統計和驗證其合理性。對于基于全局特征的美感分析方法，存在著很多人類大腦不關注的區域和噪聲，可能存在對人臉審美的判別中造成不可逆影響的情況。我們知道，在人腦感知系統中，當評估人臉的美感問題時，人腦趨向于有選擇的關注那些有吸引力的人臉位置區域，在這樣情況下，提取人臉顯著特征位置顯得尤為重要了。

發明內容

本發明所要解決的技術問題在于針對上述現有技術的不足，提供基于生物啟發和深度屬性學習相結合的人臉美感預測方法。

本發明包括以下步驟：

1)人臉圖像的預處理；

2)人臉顯著特征位置的提取；

3)獲取人臉圖像的美感等級標簽；

4)人臉美感模型的建立。

在步驟1)中，所述人臉圖像的預處理包括人臉檢測、人臉關鍵點定位、人臉圖像歸一化處理等；所述人臉圖像的預處理的具體方法，包括以下步驟：

(1)對人臉圖像進行人臉檢測及人臉關鍵點的定位，具體方法包括但不限于基于opencv的人臉檢測和人臉關鍵點的定位、基于人臉關鍵點位置的手工標注等；

(2)根據人臉關鍵點的位置進行人臉圖像幾何歸一化處理，將人臉表情子圖像變換為統一的尺寸；