[發明專利]基于多任務級聯的豬臉面部表情識別框架的建立方法

有效

• 申請號: 202110350752.0
• 申請日: 2021-03-31
• 公開（公告）號: CN113065460B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 溫長吉;張笑然;吳建雙;于合龍;石磊;郭宏亮;畢春光;李卓識;蘇恒強;薛明軒;楊之音
• 申請（專利權）人: 吉林農業大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 吉林長春新紀元專利代理有限責任公司 22100
• 代理人: 王怡敏

本發明涉及一種基于多任務級聯的豬臉面部表情識別框架的建立方法，屬于計算機圖像識別及人工智能技術領域。首次提出將級聯框架模型應用于對家豬時序面部表情影像進行分類識別。網絡模型由三個級1聯結構構成，首先將豬臉面部表情視頻幀圖像等間隔選擇輸入到簡化多任務級聯卷積神經網絡中。其次將提取到的豬臉面部序列幀特征圖輸入到多注意力機制模塊中，捕獲表情變化引起的面部顯著性區域，實現對面部細微變化的關注。然后將視頻幀提取到的精細特征圖和多注意力特征圖通過合并數組操作融合后輸入到長短時記憶網絡中，實現表情分類識別。通過家畜表情識別可以更好實現情緒調控，從而提高飼料消化率和利用率，提高生長速度，提高出產效益。

技術領域

本發明涉及計算機圖像識別及人工智能技術領域，特別涉及一種基于多任務級聯的豬臉面部表情識別框架的建立方法，用于視頻中家畜面部表情識別的端到端模型框架。

背景技術

動物情感研究是動物科學的重要研究目標之一，可以更好評估家畜福利，包括豬等家畜在飼喂過程中良好的情緒對于保證飼料消化率和利用率抵達最高，從而提高生長速度，提高出產效益具有重要作用，因此對于基于面部表情識別的情感研究具有重要意義。

動物面部表情識別面臨挑戰，首先對比人臉表情識別，動物面部表情變化較難察覺識別，原因在于動物表情變化主要依賴面頰兩側顴大肌，肌群結構簡單變化幅度較低。其次已有的動物面部表情識別相關工作大多基于生理解剖學，付出成本較高且效率較低。最后動物面部生理體征采集較為困難，沒有可用于監督半監督學習的規模化標準化數據集，并且當前僅有的極少量基于機器視覺的方法多是對靜態影像中動物面部表情進行識別，沒有針對視頻幀中具有時序性表情進行分類識別的研究。靜態影像中的面部表情僅是某一時間點上的表情特征記錄，然而面部表情本身具有時空性，因此僅有的極少量基于靜態影像面部表情識別方法在面部表情特征提取和表示過程中丟失了大量的由時間維度變化引起的時空邏輯性特征，違背面部表情呈現的內在規律性，因此急需一種用于視頻中家畜面部表情識別的端到端模型框架。

發明內容

本發明的目的在于提供一種基于多任務級聯的豬臉面部表情識別框架的建立方法，解決了現有技術存在的上述問題。本發明基于多注意力機制級聯長短時記憶網絡模型對視頻影像中豬臉面部表情進行分類識別。首先利用簡化多任務級聯卷積網絡快速檢測定位視頻幀中豬臉，去除非豬臉區域對于識別性能的影響。將檢測定位的豬臉面部序列特征圖送入多注意力卷積機制模塊，通過注意力關注各類表情變化引起的顯著性區域，從而克服家豬面部表情肌群結構簡單幅度變化小，致使面部表情較難察覺識別的問題。最后將提取到的全局特征圖和注意力特征圖通過合并數組操作融合為精細化特征以序列形式送入長短時記憶網絡中，最終實現表情識別。

本發明的上述目的通過以下技術方案實現：

基于多任務級聯的豬臉面部表情識別框架的建立方法，包括如下步驟：

S1、輸入豬臉面部表情視頻段，對輸入視頻段進行類別標注，分別為家豬憤怒、歡快、恐懼以及平和四類表情；

S2、級聯框架模型第一階段：將豬臉面部表情視頻影像等間隔選取幀圖像輸入到簡化多任務級聯卷積神經網絡中，用于檢測定位豬臉；該簡化多任務級聯卷積神經網絡分別由粗粒度和細粒度兩步實現豬臉區域快速檢測和定位；

S3、級聯框架模型第二階段：將提取到的豬臉面部序列幀圖像輸入到多注意力機制模塊中，用于提取和構建豬臉面部表情變化的顯著性區域特征圖；首先使用一個淺層殘差網絡對豬臉面部提取全局卷積特征圖；其次通過通道分組響應注意力機制，捕獲并生成豬臉面部表情變化的顯著性區域特征圖；然后將注意力區域特征圖與全局卷積特征圖做合并數組操作生成融合注意力機制的豬臉面部特征圖；

S4、級聯框架模型第三階段：將融合注意力機制的豬臉面部特征圖，依序列順序輸入到長短時記憶網絡，經過全連接層和softmax分類器對豬臉面部表情做識別分類。

步驟S2中簡化多任務級聯卷積神經網絡的模型架構方法如下：