[發明專利]面部表情強度計算模型的形成方法及系統

有效

• 申請號: 201711215357.1
• 申請日: 2017-11-28
• 公開（公告）號: CN107895154B
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 楊林權;谷俊允
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 龔春來

1.一種面部表情強度計算模型的形成方法，所述面部表情強度計算模型用于估算表情分類下的面部表情強度，其特征在于，包含如下步驟：

S1、獲取用于訓練的包含面部部分的表情數據庫，所述表情數據庫包含具有面部表情強度標簽的數據庫與無面部表情強度標簽的數據庫；

S2、對所述表情數據庫中的圖像數據進行預處理，提取出面部部分的數據；

S3、對提取出的面部部分的數據分別進行面部幾何特征、局部二值模式和Gabor小波變換三種模式的特征提取；

S4、分別使用全監督模式、半監督模式和無監督模式對步驟S3輸出的數據進行訓練，得到特征與面部表情強度的關系；

S5、將所述訓練后形成的數據分別作為序數隨機森林算法的輸入進行訓練，分別得出面部表情強度計算子模型，將k₁*A₁+k₂*A₂+k₃*A₃作為最終的面部表情強度計算模型，其中系數k₁、k₂、k₃的取值范圍均為(0，1)，且k₁+k₂+k₃＝1，A₁、A₂、A₃分別為同一輸入條件下全監督模式、半監督模式和無監督模式對應的輸出值；

所述步驟S3中對于任意一幀：是以該幀中下巴與鼻尖的像素間距離為標準值，將嘴角、下巴、眼角、上下眼皮之間的像素間的相互距離與該幀的標準值的比值作為面部幾何特征；

所述序數隨機森林算法中：對于參與訓練的數據庫中的圖像序列中每一幀，首先進行序數回歸分析，預測該幀在各個強度值上的分布比，然后在隨機森林算法對該圖像序列中的幀進行回歸分析時，對每個決策樹得到的強度值Q進行加權，所加權重為該幀在單獨進行序數回歸分析時，分析結果中強度值Q所占的比例。

2.根據權利要求1所述的面部表情強度計算模型的形成方法，其特征在于，所述步驟S2中預處理包括：面部特征點定位、面部識別、圖像剪切和直方圖均衡化；方案采用主動形狀模型ASM獲取面部特征點，利用瞳孔間的連線與水平線的夾角，旋轉圖像使得瞳孔間連線為水平，之后調用OpenCV庫中面部識別框架獲取圖像數據中面部部分，并且剪切面部區域為M*N像素，最后對所有剪切后圖像數據進行直方圖均衡化處理；其中，M、N均為正整數且均大于3。

3.根據權利要求1所述的面部表情強度計算模型的形成方法，其特征在于，所述步驟S3中還包括步驟：采用主成分分析方法，分別對三種模式提取的特征進行處理以降低特征數據的維度。

4.根據權利要求1所述的面部表情強度計算模型的形成方法，其特征在于，所述步驟S3中采用局部二值模式提取圖像特征時，具體是指將步驟S2中提取出的面部部分的數據分割得到的面部圖像均勻分為P*Q塊，得到P*Q塊(M/P)*(N/Q)的區域，對每一區域進行3*3鄰域像素的處理，對比所有像素臨近的8個像素的灰度值，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0，得到8個二進制數，將8位二進制數轉換為10進制，得到該像素點的LBP值，最終按行拼接P*Q塊圖像的LBP值，得到圖像的局部二值模式特征；其中，P、Q、M、N均為正整數，M、N分別為面部部分的圖像數據的橫向、縱向的像素大小。

5.根據權利要求4所述的面部表情強度計算模型的形成方法，其特征在于，P＝Q＝5，M＝N＝10。

6.根據權利要求2所述的面部表情強度計算模型的形成方法，其特征在于，所述步驟S3中采用Gabor小波變換進行特征提取具體是指，將的剪切后形成的M*N像素的面部圖像進行多尺度多方向的Gabor小波變換，每幅圖像得到(V*R)*M*N維的特征,V為尺度數，R為方向數。