[發明專利]基于微表情分析的抑郁癥識別系統

有效

• 申請號: 202011101287.9
• 申請日: 2020-10-15
• 公開（公告）號: CN112232191B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張暉;李可欣;趙海濤;孫雁飛;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/62;G06V10/764;G06V10/82;G06N3/045;G06N3/0442;G06N3/0464;G06N3/048;G06T7/269
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

本發明公開了一種基于微表情分析的抑郁癥識別系統。屬于計算機視覺領域；具體步驟：1、訓練深度多任務識別網絡；2、對人臉的重要的局部區域進行劃分，剔除與微表情無關的區域；3、訓練自適應的雙流神經網絡，對微表情運動的開始幀、Apex幀、結束幀進行定位；4、根據在不同背景下對微表情的分析判斷該人是否患有抑郁癥。本發明以深度多任務神經網絡為基礎，對圖像進行預處理，從而進行人臉重要局部區域劃分，提高雙流神經網絡的識別速度，滿足實時性的要求；并通基于注意力機制的BLSTM?CNN神經網絡提取重要的幀圖片特征以及自適應融合雙流神經網絡提取到的雙流特征提高微表情運動幀的定位，進而提高微表情識別的速度和準確性。

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種基于微表情分析的抑郁癥識別系統。

背景技術

目前，抑郁癥是僅次于心血管疾病的人類第二大疾病，世界衛生組織官網顯示，截至2017年，全球范圍內抑郁癥患者人數已超過3億，每年有大約80萬人因抑郁癥而自殺，同時，抑郁癥的發病已開始出現低齡(大學，乃至中小學生群體)化趨勢。但我國對抑郁癥的醫療防治還處在識別率低的局面，地級市以上的醫院對其識別率不足20％，只有不到10％的患者接受了相關的藥物治療，因此，抑郁癥的識別對于抑郁癥的醫療防止工作是至關重要的。有研究表明抑郁癥患者與正常人在不同背景下的微表情是有差異的，近年來，隨著微表情識別技術和深度學習技術的發展，使抑郁癥的防治工作有了新的方向。但由于微表情強度微弱，容易受環境擾動，持續時間短，發生部位區域狹小且不確定等因素影響，導致微表情識別的準確率大大降低進而影響抑郁癥的識別，并且為用戶提供的智能識別設備對微表情識別系統的實時性的要求苛刻，而微表情識別所采用的深度神經網絡并不能滿足條件。

綜上所述，如何在現有技術上提出智能化、個性化、精確化、便利化的基于微。表情分析的抑郁癥識別系統成為了目前業內人士所亟待解決的問題。

發明內容

針對上述問題，本發明提供了一種基于微表情分析的抑郁癥識別系統，以解決現有技術中由于微表情強度微弱，持續時間短等因素導致幀間相對位移很小，難以對微表情運動進行定位的問題以及微表情識別的速度問題。

本發明的技術方案是：基于微表情分析的抑郁癥識別系統，具體步驟包括如下：

步驟(1.1)、對視頻信息預處理，通過訓練深度多任務識別網絡得到人臉狀態；

步驟(1.2)、根據得到的輸出人臉狀態結果，對人臉的局部區域進行劃分，剔除與微表情無關的區域；

步驟(1.3)、將劃分的局部區域作為原始信息，對其進行提取光流，后將原始信息與提取的光流信息輸入到自適應的雙流神經網絡中，進而對微表情運動的開始幀、峰值幀、結束幀進行定位；

步驟(1.4)、通過輸出的定位結果對微表情進行分析，根據在不同背景下對微表情的分析判斷該人是否患有抑郁癥。

進一步的，在步驟(1.1)中，所述深度多任務識別網絡用于對采集到的人臉圖片信息進行預處理；其包括卷積層、池化層和全連接層；

其中，卷積層使用5×5和3×3的卷積核，在卷積計算之后使用ReLU作為激活函數，使用最大值池化來處理非交疊區域的特征，最后經全連接層輸出人臉關鍵點的位置以及其他影響因素的檢測結果。

進一步的，在步驟(1.2)中，對人臉的重要的局部區域進行劃分具體是：將面部區域劃分為7個局部區域塊，其中每塊區域都是一個或幾個面部動作單元的組合；

其中，所述7個局部區域塊包括眼睛、眉毛、鼻子、嘴巴、左右兩個面頰及下巴。

進一步的，在步驟(1.3)中，所述的雙流神經網絡為時空級聯的雙流神經網絡分別對輸入的原圖像與光流圖像提取時間特征和空間特征采用三個基于注意力機制的BLSTM-CNN模型，其中兩個模型對每個流提取重要的幀特征，另外一個模型確定雙流特征的權重，最后得到開始幀、峰值幀、結束幀的定位信息。