[發(fā)明專利]基于面部特征點與面部運動單元的抑郁檢測方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110764279.0
• 申請日: 2021-07-06
• 公開（公告）號: CN113705328A
• 公開（公告）日: 2021-11-26
• 發(fā)明（設計）人: 丁帥;余文穎;岳子杰;戎千;李霄劍;宋程
• 申請（專利權）人: 合肥工業(yè)大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G16H50/20
• 代理公司: 北京久誠知識產權代理事務所(特殊普通合伙) 11542
• 代理人: 余罡

1.一種基于面部特征點與面部運動單元的抑郁檢測方法，其特征在于，該方法包括：

基于臨床半結構化抑郁訪談視頻，提取面部運動單元數據和面部特征點數據；

對面部運動單元數據進行標準化處理，得到面部運動單元特征向量；

對面部特征點數據降維，并利用通道注意力機制對降維后的面部特征點數據進行處理，得到面部特征點特征向量；

將面部運動單元特征向量與面部特征點特征向量進行融合，并利用空間注意力分配注意力權重，得到面部融合特征向量；

將面部融合特征向量輸入特征展平層，得到抑郁狀態(tài)檢測結果。

2.如權利要求1所述的一種基于面部特征點與面部運動單元的抑郁檢測方法，其特征在于，所述基于臨床半結構化抑郁訪談視頻，提取面部運動單元數據和面部特征點數據，包括：

通過點分布模型追蹤視頻中人臉，通過選擇縮放進行人臉對齊操作；再利用可變型部件模型提取面部外觀特征與幾何特征；最后，使用支持向量機與支持向量回歸檢測各面部運動單元的出現的概率，且當概率大于閾值時，表示出現該運動單元。

3.如權利要求1所述的一種基于面部特征點與面部運動單元的抑郁檢測方法，其特征在于，所述對面部運動單元數據進行標準化處理，得到面部運動單元特征向量，包括：

以時間序列索引最短的樣本視頻長度為標準，按比例將其余樣本視頻縮放至同一尺度；

通過softmax函數將同一樣本內各運動單元統(tǒng)計數值壓縮至(0,1)區(qū)間內，得到各面部運動單元之間的數量相對關系；

依據面部運動單元間的數量相對關系去除出現次數最高的面部運動單元，再對所有數據進行統(tǒng)一歸一化處理，得到面部運動單元特征向量。

4.如權利要求1所述的一種基于面部特征點與面部運動單元的抑郁檢測方法，其特征在于，所述對面部特征點數據降維，包括：

將經過T次采樣的M維數據轉化為T×M面部特征點矩陣

按中心化公式對進行中心化，得到中心化矩陣

基于中心化矩陣計算得到各維度的方差與兩兩維度之間的協(xié)方差，得到協(xié)方差矩陣C；

計算協(xié)方差矩陣C的特征值λ_i,i＝1,2,...,e及其對應的正交化特征向量P_i,i＝1,2,...,e，將特征值按λ₁＞λ₂＞...＞λ_e＞0順序排列；

分別對協(xié)方差矩陣各個特征值計算其貢獻率，將所有特征值貢獻率進行相加，求累計貢獻率G(k)，保留G(k)為98％的前主成分，且提取累計貢獻率所對應的前k特征向量進行矩陣變換，將選擇的特征向量與頭部特征矩陣X^L_T×M點乘，得到目標特征矩陣L_K×M；

使用決策樹模型確定面部特征點矩陣的主成分維度值，循環(huán)遍歷G(k)為98％時包含的維度數值，隨機產生包含不同數量主成分的特征向量集，輸入訓練決策樹模型進行抑郁狀態(tài)監(jiān)測二分類實驗，將決策樹模型的分類結果作為向量特征子集性能評價的標準，選擇使決策樹模型獲得最優(yōu)分類指標的主成分維度K，并以此選擇面部特征點對應特征值的前K個主成分；

且利用通道注意力機制對降維后的面部特征點數據進行處理，包括：

將經過主成分分析后所得的面部特征點數據利用特征映射投射至不同通道上，提取各尺度下面部特征點特征圖信息。

L＝Conv_fm(Y^L)

其中，L∈R^C×H×W代表通過主成分分析處理的面部特征點數據Y^L被Conv_fm映射到C通道上大小H×W為特征圖；

通過自適應的通道注意力機制調整不同通道的權重分配，提取并選擇有利于區(qū)分是否具有抑郁狀態(tài)的面部特征點特征：

CAtt(L)＝σ(Conv_c3(Conv_c2(Conv_c1(L))+Conv_c1(L)))

其中，CAtt(L)為通過通道注意力機制后各通道所的權重分布，表示同位元素積運算，L′為具有不同權重的面部特征點數據，σ表示sigmoid激活函數，Conv_cn代表通道卷積神經網絡層，n為卷積層層數。