[發明專利]基于生物啟發和深度屬性學習相結合的人臉美感預測方法

在審

• 申請號: 201711493994.5
• 申請日: 2017-12-31
• 公開（公告）號: CN108108715A
• 公開（公告）日: 2018-06-01
• 發明（設計）人: 紀榮嶸;陳福海
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06F3/01;G06N3/04;G06N3/08;A61B3/113
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森

1.基于生物啟發和深度屬性學習相結合的人臉美感預測方法，其特征在于包括以下步驟：

1)人臉圖像的預處理；

2)人臉顯著特征位置的提取；

3)獲取人臉圖像的美感等級標簽；

4)人臉美感模型的建立。

2.如權利要求1所述基于生物啟發和深度屬性學習相結合的人臉美感預測方法，其特征在于在步驟1)中，所述人臉圖像的預處理包括人臉檢測、人臉關鍵點定位、人臉圖像歸一化處理。

3.如權利要求1所述基于生物啟發和深度屬性學習相結合的人臉美感預測方法，其特征在于在步驟1)中，所述人臉圖像的預處理的具體方法，包括以下步驟：

(1)對人臉圖像進行人臉檢測及人臉關鍵點的定位，具體方法包括但不限于基于opencv的人臉檢測和人臉關鍵點的定位、基于人臉關鍵點位置的手工標注；

(2)根據人臉關鍵點的位置進行人臉圖像幾何歸一化處理，將人臉表情子圖像變換為統一的尺寸；

(3)人臉圖像的灰度歸一化處理，用來增強圖像亮度，減弱光線和光照強度的影響。

4.如權利要求1所述基于生物啟發和深度屬性學習相結合的人臉美感預測方法，其特征在于在步驟2)中，所述人臉顯著特征位置的提取的具體方法為：

(1)根據步驟1)中預處理后的人臉圖像，由眼動儀獲取用戶觀察圖像時的眼動信息，通過眼動追蹤儀獲取用戶的眼動掃描和追蹤數據，計算用戶眼球在圖像的焦點位置；

(2)根據得到的用戶眼球在圖像的焦點位置，分析并提取用戶關注的人臉顯著特征點集合；

(3)將用戶掃視過的人臉特征點的集合進行篩選；所述篩選為刪除所有用戶掃視過的人臉特征點頻度小于5的特征點；

(4)將篩選后的用戶掃視的人臉特征點進行聚類，得到所有用戶關注的圖像焦點位置，即聚類后的簇心，其中定義為凝視點，由凝視點得到用戶的凝視區域，用戶的凝視區域計算如下：

S＝d·tan(θ)

其中，S為用戶的凝視區域，d為用戶到實驗主機屏幕的水平距離，θ為視覺廣度，取值為6度；tan()為正切函數。

5.如權利要求1所述基于生物啟發和深度屬性學習相結合的人臉美感預測方法，其特征在于在步驟3)中，所述獲取人臉圖像的美感等級標簽的具體方法為：針對步驟1)中預處理后的人臉圖像，通過實驗獲取至少20用戶對于人臉圖像之間的美感相對排名，然后通過包括但不限于TrueSkill算法將美感的相對排名轉換為人臉圖像的美感評分，進而轉化為美感等級標簽。

6.如權利要求1所述基于生物啟發和深度屬性學習相結合的人臉美感預測方法，其特征在于在步驟4)中，所述人臉美感模型的建立的具體方法為：

(1)根據步驟2)得到的凝視區域，將步驟1)進行預處理之后的人臉圖像凝視區域之外的區域進行高斯模糊處理；

(2)將人臉圖像劃分為訓練集合和測試集合；

(3)根據步驟2)得到的用戶觀察人臉時的凝視區域及步驟3)得到的人臉圖像的美感標簽通過包括但不限于監督學習和卷積神經網絡的方法訓練出人臉美感評價模型。