[發明專利]一種基于多尺度特征提取的人臉表情識別模型

在審

• 申請號: 202210632822.6
• 申請日: 2022-06-07
• 公開（公告）號: CN114944000A
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 韋鵬程;顏蓓;黃思行
• 申請（專利權）人: 重慶第二師范學院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 重慶一葉知秋專利代理事務所(普通合伙) 50277
• 代理人: 劉洪雨

本發明涉及圖像處理技術領域，具體涉及一種基于多尺度特征提取的人臉表情識別模型，包括從當前表情數據庫中獲取訓練樣本，采用訓練樣本對3D卷積神經網絡進行訓練，并保存訓練得到的網絡模型，從歷史表情數據庫中獲取測試樣本，采用測試樣本對訓練得到的網絡模型進行測試，并保存測試后的網絡模型，從3D卷積神經網絡的最后一層全連接層提取特征向量，輸入到線性SVM分類器中進行訓練，所述的歷史表情數據庫中存儲有與當前表情數據庫屬于同一人物的歷史表情數據，調取的測試樣本包括與訓練樣本中標記為同一人物的歷史表情數據。采用本發明方案，可以自行驗證訓練樣本和測試樣本的可靠性，以提高人臉表情識別的準確性。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于多尺度特征提取的人臉表情識別模型。

背景技術

隨著機器學習和深度神經網絡兩個領域的迅速發展以及智能設備的普及，人臉識別技術正在經歷前所未有的發展。目前，基于這項技術的市場發展和具體應用正呈現蓬勃發展態勢。面部表情是面部肌肉的一個或多個動作或狀態的結果。這些運動表達了個體對觀察者的情緒狀態。面部表情是非語言交際的一種形式。它是表達人類之間的社會信息的主要手段，人臉表情識別(facialexpression recognition,FER)作為人臉識別技術中的一個重要組成部分，近年來在人機交互、安全、機器人制造、自動化、醫療、通信和駕駛領域得到了廣泛的關注。

在現有技術中，有采用3D卷積神經網絡進行訓練而得到用于人臉表情識別的網絡模型技術，即隨機從同一表情數據庫獲取到訓練集后，將訓練集按照預先設定比例劃分為訓練樣本和測試樣本，通過訓練樣本對3D卷積神經網絡進行訓練，通過測試樣本對3D卷積神經網絡進行測試，雖然能得到網絡模型，但仍存在的不足之處在于：無法驗證訓練樣本和/或測試樣本的有效性和可靠性，若訓練樣本和/或測試樣本本身存在不準確問題，則得到的網絡模型也將不可靠，導致采用這種網絡模型進行人臉表情識別時，人臉表情識別準確性低。

發明內容

本發明意在提供一種具備自行驗證訓練樣本和測試樣本可靠性的基于多尺度特征提取的人臉表情識別模型，以提高人臉表情識別準確性。

一種基于多尺度特征提取的人臉表情識別模型，包括從當前表情數據庫中獲取訓練樣本，采用訓練樣本對3D卷積神經網絡進行訓練，并保存訓練得到的網絡模型，從歷史表情數據庫中獲取測試樣本，采用測試樣本對訓練得到的網絡模型進行測試，并保存測試后的網絡模型，從3D卷積神經網絡的最后一層全連接層提取特征向量，輸入到線性SVM分類器中進行訓練，所述的歷史表情數據庫中存儲有與當前表情數據庫屬于同一人物的歷史表情數據，調取的測試樣本包括與訓練樣本中標記為同一人物的歷史表情數據。

本發明的有益效果在于：從當前表情數據庫中獲取訓練樣本，從歷史表情數據庫中獲取測試樣本，而歷史表情數據庫中存儲有與當前表情數據庫屬于同一人物的歷史表情數據，調取的測試樣本包括與訓練樣本中標記為同一人物的歷史表情數據，也即訓練樣本中有某人的表情數據，那么在測試樣本中也存在同一個人相同的表情數據，通過此種方式，只需要對比分析采用訓練樣本的訓練結果和采用測試樣本的測試結果是否一致或者相似度是否極高，若一致或者相似度極高，則說明訓練樣本和測試樣本具備可靠性，以此得到的網絡模型其準確性也將大大提高。若訓練結果與訓練樣本數據相差較大，但是訓練結果與測試結果一致或者相似度極高，則說明訓練樣本數據存在問題，需要重新選取訓練樣本部分數據，同樣的，若測試結果與測試樣本數據相差較大，但是測試結果與訓練結果一致或者相似度極高，則說明測試樣本數據存在問題，需要重新選取測試樣本部分數據，經此樣本優化之后，采用3D卷積神經網絡所訓練和測試的網絡模型將更加可靠，準確性高。

進一步地，輸入待測圖像，從3D卷積神經網絡的最后一層全連接層提取特征向量，輸入到線性SVM分類器中進行一次分類。

有益效果：以此，實現對待測圖像表情識別的一次分類，也就是初步分類。

進一步地，調取待測圖像中人物的歷史圖像集，從歷史圖像集中調取與本次待測圖像相似度最高的待測歷史圖像。