[發(fā)明專利]人臉特征分析方法、裝置、計算機設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810844936.0
• 申請日: 2018-07-27
• 公開（公告）號: CN109086711B
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計）人: 羅雄文;高英;沈雄
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 廣州華進聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 劉艷麗

1.一種人臉特征分析方法，其特征在于，所述方法包括：

對目標(biāo)人臉圖像進行人臉角度檢測獲得人臉角度值,選擇與所述人臉角度值匹配的人臉特征點檢測器,將所述目標(biāo)人臉圖像輸入到所選出的所述人臉特征點檢測器，獲取所選出的所述人臉特征點檢測器輸出的所述目標(biāo)人臉圖像中的各五官部分的粗略位置區(qū)域；所述人臉特征點檢測器為級聯(lián)形狀回歸器；所述級聯(lián)形狀回歸器包括兩個層次的集成，所述級聯(lián)形狀回歸器以初始形狀作為輸入，通過多個弱回歸器級聯(lián)完成所述初始形狀的修正，得到最終特征點形狀；所述弱回歸器通過為每個特征點構(gòu)建局部紋理特征和遮擋狀態(tài)信息來建模特征點位置修正的變化增量；其中，特征點的局部紋理特征使用多個隨機森林進行擬合，每個特征點的局部紋理特征向量對應(yīng)一個隨機森林，特征向量上每個特征值的模式通過一棵隨機樹進行計算；特征點的遮擋狀態(tài)信息則通過淺層模型邏輯回歸進行學(xué)習(xí)，各特征點的遮擋狀態(tài)信息采用統(tǒng)一的二值特征向量進行描述；

將各所述粗略位置區(qū)域?qū)?yīng)的五官部位圖像分別根據(jù)對應(yīng)的五官部分的類別輸入到不同的五官特征點檢測器進行對應(yīng)的五官特征點檢測，獲取各所述五官特征點檢測器所輸出的對應(yīng)的五官部分的精確位置區(qū)域；其中，所述五官特征點檢測器包括眼睛特征點檢測器、眉毛特征點檢測器、嘴巴特征點檢測器、鼻子特征點檢測器和耳朵特征點檢測器；所述眼睛特征點檢測器和所述嘴巴特征點檢測器采用預(yù)設(shè)的第一類型的五官特征點檢測模型，所述眉毛特征點檢測器、所述鼻子特征點檢測器和所述耳朵特征點檢測器采用預(yù)設(shè)的第二類型的五官特征點檢測模型；

根據(jù)各所述精確位置區(qū)域進行人臉特征分析，獲得人臉特征信息或者/和統(tǒng)計分析結(jié)果；

其中，所述級聯(lián)形狀回歸器輸入的初始形狀的確定過程包括：加載通過訓(xùn)練樣本得到的平均形狀信息，根據(jù)所述平均形狀信息確定初始特征點以及該初始特征點的位置；利用所述初始特征點的位置、以及所述初始特征點與各其他特征點的相對信息逐個確定各其他特征點的位置；根據(jù)所述初始特征點的位置和各所述其他特征點的位置確定特征點位置序列，將所述特征點位置序列作為所述初始形狀。

2.根據(jù)權(quán)利要求1所述的人臉特征分析方法，其特征在于，所述第一類型的五官特征點檢測模型為結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和深度信念網(wǎng)絡(luò)的兩階段神經(jīng)網(wǎng)絡(luò)檢測模型；所述第二類型的五官特征點檢測模型為基于形狀和紋理信息的主動外觀模型。

3.根據(jù)權(quán)利要求2所述的人臉特征分析方法，其特征在于，所述兩階段神經(jīng)網(wǎng)絡(luò)檢測模型包括第一個層級的卷積神經(jīng)網(wǎng)絡(luò)和第二層級的深度信念網(wǎng)絡(luò)；

所述第一個層級的卷積神經(jīng)網(wǎng)絡(luò)用于學(xué)習(xí)原始五官圖片至初始形狀的映射；

所述第二層級的深度信念網(wǎng)絡(luò)用于為每個特征點都提供一個深度信念網(wǎng)絡(luò)擬合特征點初始位置至最終位置的修正變化；

其中，所述第一個層級的卷積神經(jīng)網(wǎng)絡(luò)包括兩個卷積層、兩個最大池化層和一個全連接層，激活函數(shù)采用Relu函數(shù)；每個特征點使用包括三個隱藏層的深度信念網(wǎng)絡(luò)來做位置修正，各個深度信念網(wǎng)絡(luò)只有最后一層為全連接層，全連接層前面的隱藏層均為受限玻爾茲曼機；各所述受限玻爾茲曼機使用無監(jiān)督學(xué)習(xí)的最大似然法進行逐層預(yù)訓(xùn)練，所述逐層預(yù)訓(xùn)練的最終結(jié)果通過最后一個全連接層進行微調(diào)。

4.根據(jù)權(quán)利要求3所述的人臉特征分析方法，其特征在于，所述根據(jù)各所述精確位置區(qū)域進行人臉特征分析，獲得人臉特征信息或者/和統(tǒng)計分析結(jié)果，包括：

根據(jù)各所述精確位置區(qū)域確定人臉區(qū)域，所述人臉區(qū)域包括全部五官部分的精確位置區(qū)域或者部分五官部分的精確位置區(qū)域；

根據(jù)所述人臉區(qū)域的像素信息確定灰度共生矩陣；

根據(jù)所述灰度共生矩陣以及多個預(yù)設(shè)算子確定所述灰度共生矩陣的各統(tǒng)計量；

根據(jù)各所述統(tǒng)計量提取預(yù)設(shè)種類的圖像特征，將提取出的所述圖像特征轉(zhuǎn)換為圖像特征向量，將所述圖像特征向量以特征文件的形式進行保存，或者對所述圖像特征向量的規(guī)律進行統(tǒng)計分析，獲得統(tǒng)計結(jié)果，將統(tǒng)計結(jié)果進行可視化處理。

5.根據(jù)權(quán)利要求4所述的人臉特征分析方法，其特征在于，所述統(tǒng)計量包括對比度、能量、熵、逆方差、相關(guān)性、均勻性、差異性、和平均以及和方差。