[發明專利]一種基于膠囊-長短時記憶神經網絡的視頻表情識別方法

有效

• 申請號: 202011384713.4
• 申請日: 2020-12-01
• 公開（公告）號: CN112487989B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 劉思葦;舒坤賢
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/25;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明屬于人臉表情識別技術領域，特別涉及一種基于膠囊?長短時記憶神經網絡的視頻表情識別方法，包括將包括有人臉的視頻轉換為視頻幀；檢測視頻幀中的人臉圖像，并對人臉圖像進行預處理；構建膠囊網絡，利用膠囊網絡提取人臉圖像的特征并進行圖片的重構；構建長短時記憶神經網絡，將膠囊網絡編碼器的輸出作為長短時記憶神經網絡的輸入，提取時序特征；將長短時記憶神經網絡輸出中最大概率值對應的表情分類作為該序列的標簽；本發明將膠囊網絡與長短時記憶網絡相結合，膠囊網絡提取空間信息，長短時記憶神經網絡提取時序信息，從而有效地提升了表情分類的精度。

技術領域

本發明屬于人臉表情識別技術領域，特別涉及一種基于膠囊-長短時記憶神經網絡的視頻表情識別方法。

背景技術

人臉作為人的重要的生物特征之一，包含著大量的信息，人臉所包含的諸多信息中，表情信息是較為重要的一種。表情是人類情緒的直觀反應，多指面部肌肉及五官形成的狀態，表情識別作為人機相互作用重要的一環一直是計算機視覺的重要研究發現之一。采用計算機技術的進步，大數據時代的到來以及GPU等計算機硬件的發展，人臉識別領域中關于人臉的檢測、人臉特征的提取和圖像分類等幾個步驟的相關成果可以在表情識別領域中被借鑒，表情識別也在軟硬件上都得到了長足的發展，相應的研究機構與表情數據庫以及新的算法越來越多。

表情識別擁有非常廣泛的應用領域，在人機交互、機器人制造、醫療衛生、遠程教育等各領域都有它的身影，采用人工智能識別表情可以客觀地分析對方的情緒，避免因為個人情緒而對對方情緒產生錯誤解讀，彌補人類精力有限的缺陷，并且可以捕捉到一些肉眼可能會忽略的細微表情。在案件審查中，輔助警察對犯罪份子實施表情監控，檢測其真實心理情況幫助偵破案件；在臨床醫學中，通過對自閉兒童的表情觀測了解患者心理活動，輔助醫生制定出更加適合的治療方案來協助其快速康復；在商場中，針對某項產品監控客戶滿意程度，協助商場工作人員制定出更合適的推廣方案；在交通出行方面，有學者針對疲勞駕駛進行研究，預防駕駛人由于自身狀態不佳而導致事故；在遠程教育中，通過檢測學生在上課時的情緒變化，幫助老師掌握學生對知識點的了解程度，科學的調節學習進度，從而更好地促進學生的學習。

目前，常見的視頻序列表情的識別方法是結合卷積神經網絡和長短時記憶神經網絡對視頻中人臉表情的變化進行建模，一般需采用深層卷積神經網絡提取空間信息，采用多層長短時記憶神經網絡獲取時間信息。卷積神經網絡具有表征學習能力。卷積神經網絡的優點很多，但在實際的應用中也暴露出一些缺點：(1)圖像遷移后的一致性識別能力低，這里的圖像遷移是指卷積神經網絡對于左右的平移，旋轉和加上邊框等難以察覺出一致性，這就造成了CNN所需的訓練集很大，數據增強技術雖然有用，但提升有限；(2)卷積神經網絡的問題是其神經元之間都是平等的，沒有內部的組織結構，這導致無法保證在不同位置，不同角度下對同一個物品做出相同的識別，也無法提取不同卷積核得出的子結構之間的相互關系。卷積神經網絡在對物體特征提取和檢測的性能很好，但忽略了局部和內部的相對位置信息(比如：相對位置，方向，偏度等)，從而丟失了一些重要的信息。

發明內容

針對上述不足，本發明提出一種基于膠囊-長短時記憶神經網絡的視頻表情識別方法，如圖1，具體包括以下步驟：

將包括有人臉的視頻轉換為視頻幀；

檢測視頻幀中的人臉圖像，并對人臉圖像進行預處理；

構建膠囊網絡，利用膠囊網絡編碼器提取人臉圖像的特征并利用膠囊網絡解碼器進行圖片的重構；

構建長短時記憶神經網絡，將膠囊網絡編碼器的輸出作為長短時記憶網絡的輸入；

將長短時記憶神經網絡輸出中最大概率值對應的表情分類作為該序列的標簽。

進一步的，檢測視頻幀中的人臉圖像，并對人臉圖像進行預處理包括：

對視頻幀進行人臉檢測，截取人臉ROI區域，并進行尺寸歸一化以及灰度化；