[發(fā)明專利]基于微表情分析的抑郁癥識別系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011101287.9
• 申請日: 2020-10-15
• 公開（公告）號: CN112232191B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設計）人: 張暉;李可欣;趙海濤;孫雁飛;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/62;G06V10/764;G06V10/82;G06N3/045;G06N3/0442;G06N3/0464;G06N3/048;G06T7/269
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

1.基于微表情分析的抑郁癥識別系統(tǒng)，其特征在于，具體步驟包括如下：

步驟(1.1)、對視頻信息預處理，通過訓練深度多任務識別網(wǎng)絡得到人臉狀態(tài)；

步驟(1.2)、根據(jù)得到的輸出人臉狀態(tài)結果，對人臉的局部區(qū)域進行劃分，剔除與微表情無關的區(qū)域；

步驟(1.3)、將劃分的局部區(qū)域作為原始信息，對其進行提取光流，后將原始信息與提取的光流信息輸入到自適應的雙流神經(jīng)網(wǎng)絡中，對雙流神經(jīng)網(wǎng)絡進行訓練，進而對微表情運動的開始幀、峰值幀、結束幀進行定位；

所述的雙流神經(jīng)網(wǎng)絡為時空級聯(lián)的雙流神經(jīng)網(wǎng)絡分別對輸入的原圖像與光流圖像提取時間特征和空間特征采用三個基于注意力機制的BLSTM-CNN模型，其中兩個模型對每個流提取重要的幀特征，另外一個模型確定雙流特征的權重，最后得到開始幀、峰值幀、結束幀的定位信息；

具體的，

一、深度多任務識別網(wǎng)絡以及局部區(qū)域的劃分：

該網(wǎng)絡用于檢測人臉圖像上關鍵點的位置，由于人臉受到影響；故使用一個深度多任務神經(jīng)網(wǎng)絡來考慮進人臉關鍵點檢測的任務中以得到關鍵點位置；此網(wǎng)絡由卷積層、池化層和全連接層組成，其中卷積層使用的是5×5用Re?LU作為激活函數(shù)；之后使用最大值池化來處理非交疊區(qū)域的特征；使用最大值池化不僅可保留主要特征，也可減少特征參數(shù)的維度；全連接層用于輸出人臉關鍵點的位置及其他影響因素的檢測結果；將第t個任務表示為t＝*1,…,T+，i＝*1,…,N+，其中和分別表示第t個任務和第t個任務的標簽；完整的任務T中包含5個相關任務，其相關標簽為其中代表人臉關鍵點的位置，而其他的分別代表人臉的姿態(tài)、性別、是否佩戴眼鏡以及是否微笑；此神經(jīng)網(wǎng)絡的主要目標是最小化如下式的代價函數(shù)：

式中，Loss(·)表示整體的代價函數(shù)，f(·)表示神經(jīng)網(wǎng)絡中通過網(wǎng)絡的權值系數(shù)w^t計算任務目標的過程；神經(jīng)網(wǎng)絡分別使用Euclidean代價函數(shù)進行人臉關鍵點的檢測，Softmax代價函數(shù)進行其他任務的檢測；

若根據(jù)深度多任務識別網(wǎng)絡的輸出對面部全局區(qū)域進行無差別分塊會產(chǎn)過多冗余特征，故只對與微表情有緊密聯(lián)系的局部區(qū)域進行分塊處理；由于心理學研究發(fā)現(xiàn)，不同類別的微表情出現(xiàn)在面部區(qū)域位置不同，因此其局部區(qū)域將面部區(qū)域劃分為7個局部區(qū)域塊；

二、自適應雙流神經(jīng)網(wǎng)絡：

該網(wǎng)絡集成了兩個子網(wǎng)，是一個時空級聯(lián)網(wǎng)絡；該網(wǎng)絡通過結合卷積神經(jīng)網(wǎng)絡和添加注意力機制的LC-BLSTM；由于所有特征的注意力權重在不斷變化，因此將注意力機制應用于兩流特征融合以實現(xiàn)自適應動態(tài)特征融合過程；

a)、雙流空間子網(wǎng)：

該神經(jīng)網(wǎng)絡的輸入分別為經(jīng)重點局部區(qū)域劃分后的圖片序列信息和圖片的光流信息；其中，圖片的光流信息可將原始圖片序列信息輸入到FlowNet2.0獲得；為獲得空間信息，將殘差網(wǎng)絡的體系結構作為基本部分，共有三組塊，每組有四個塊；然后，依次鋪平一層和一層致密層；所有層的激活功能都是ReLU；此外，所有池化層都是平均池化層；

b)、雙流時間子網(wǎng)：

采用Attention-aware-BLSTM-CNN特征融合的模型，利用卷積神經(jīng)網(wǎng)絡提取文本向量的局部特征，利用BLSTM提取與相關的全局特征,將兩種互補模型提取的特征進行融合；該子網(wǎng)通過Forward層和Backward層將數(shù)據(jù)連接到兩個單獨的隱藏層中，分別記錄每一時刻Forward層的輸出和Backward層的輸出最終的輸出結果為基于注意力機制來提取特征，有選擇地表示輸入序列：

其中，a_frame表示注意力的權重，其大小根據(jù)輸入特征序列的步長大小確定；

即：

其中，是的轉置；W_frame是權重矩陣；b_frame是其偏置項；c_frame為在訓練過程中隨機初始化和學習的幀級上下文向量，用來表示這些幀的重要性；f_frame表示單流的特征；時間子網(wǎng)通過增加與微表情檢測密切相關的幀的權重來關注更重要的幀，同時忽略其他不相關的幀；

將注意機制應用于雙流特征融合；所有特征的注意權重不斷變化，實現(xiàn)一種自適應的動態(tài)特征融合過程；流級注意權重的計算方法與幀級相似；計算如下：

其中，是的轉置；W_stream是權重矩陣；b_stream是其偏置項；c_stream在訓練過程中隨機初始化和學習的流級上下文向量，即這兩個流的動態(tài)融合權重；f_2-stream為兩個流的組合特征表示；

本系統(tǒng)包括兩個內(nèi)容：(一)、是深度多任務識別網(wǎng)絡和重要局部區(qū)域的劃分；首先對視頻信息進行跳幀提取，每4幀提取一次，并將其輸入到該度多任務識別網(wǎng)絡中，該網(wǎng)絡的輸出為人臉關鍵點以及人臉狀態(tài)，根據(jù)面部動作編碼系統(tǒng)劃分出重要的人臉局部區(qū)域，經(jīng)劃分后的圖像信息再經(jīng)過自適應雙流神經(jīng)網(wǎng)絡進行識別時，可減少網(wǎng)絡的參數(shù)，進而提高網(wǎng)絡的識別速度；(二)、是自適應雙流神經(jīng)網(wǎng)絡；將深度多任務識別網(wǎng)絡的輸出作為原始數(shù)據(jù)，通過FlowNet2.0獲得光流數(shù)據(jù)，把兩種數(shù)據(jù)作為輸入分別輸入到自適應雙流神經(jīng)網(wǎng)絡中，并將注意力機制添加到雙流神經(jīng)網(wǎng)絡中，以實現(xiàn)對雙流神經(jīng)網(wǎng)絡的輸出進行自適應融合，提高對幀定位的準確程度；最后，根據(jù)雙流神經(jīng)網(wǎng)絡輸出的融合結果，對是否患有抑郁癥進行判斷；

步驟(1.4)、通過輸出的定位結果對微表情進行分析，根據(jù)在不同背景下對微表情的分析判斷該人是否患有抑郁癥。