[發明專利]基于語言和肢體特征的自殺和暴力傾向情感識別方法

有效

• 申請號: 202010764407.7
• 申請日: 2020-08-02
• 公開（公告）號: CN112101095B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 杜廣龍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/80;G06V10/82;G06N3/0442;G06N3/0464;G06N3/049;G06N3/084;G06F18/213;G06V10/774;G06V10/764
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.基于語言和肢體特征的自殺和暴力傾向情感識別方法，其特征在于，包括以下步驟：

S1、使用Kinect來收集視頻和音頻，分別將視頻和音頻中提取的語音特征和視覺特征轉化為文本描述；包括以下步驟：

S1.1、通過Kinect的Windows?SDK?v2.0公開預覽直接將語音內容轉換為內容文本描述；其韻律和頻譜這兩個特征通過經典結構的反向傳播神經網絡(BPNN)轉化為視頻狀態文本描述；

S1.2、將捕獲的視頻中選擇的單幀通過卷積神經網絡(CNN)處理，轉換為靜態運動文本描述；從Kinect中獲得并表示出骨骼的關節點，將每一時刻的骨骼關節點位置記錄下來，最終形成序列骨架數據；將連續動作即N個集合動作對應的骨架點序列編碼成向量，采用雙向長短期記憶條件隨機場(Bi-LSTM-CRF)處理該向量得到動作序列，最后Softmax分類器用于將動作序列分類為相應的動態運動文本描述；

所述反向傳播神經網絡(BPNN)結構如下：

訓練樣本空間Ω中有n個訓練樣本，分別為樣本k通過神經網絡后的輸出值(即預測值)為y_k＝{y_k1,...,y_kl}，第k個訓練樣本的特征向量x_k維度為m，預測值向量y_k與真實值向量向量維度均為l；神經網絡有3層結構，其中第1層為輸入層，第3層為輸出層，第2層為隱藏層，BP算法使用梯度下降算法對網絡中的各權值進行更新，設batch的大小為p，采用平方誤差和計算公式，使用平均平方誤差和作為目標函數，即目標函數為：

k表示隱藏層的第k個節點，q表示隱藏層的第q個節點；

S2、將通過一個具有自組織映射層的神經網絡對文本描述進行融合，得到文本描述嵌入向量；

S3、使用Softmax函數根據文本描述嵌入向量分析自殺和暴力傾向；使用Softmax函數根據文本描述嵌入向量分析自殺和暴力傾向，計算公式如下：

其中，W_j為第j類情感傾向的權重矩陣，b代表偏置；情感傾向類別分別為具有自殺和暴力情感傾向和沒有自殺和暴力情感傾向。

2.根據權利要求1所述的基于語言和肢體特征的自殺和暴力傾向情感識別方法，其特征在于，步驟S1中，所述語音特征包括語音內容、韻律和頻譜；所述視覺特征為人體的肢體動作，肢體動作分為靜態動作和動態動作。

3.根據權利要求1所述的基于語言和肢體特征的自殺和暴力傾向情感識別方法，所述卷積神經網絡(CNN)包括輸入層，隱含層和全連接層，隱含層包括兩個卷積層和兩個池化層；

卷積層的計算公式如下：

其中，l表示第l個卷積層，i表示卷積輸出矩陣第i個分量的值；j表示對應輸出矩陣的個數；j的值在0到N之間變化，其中N表示卷積輸出矩陣的數量；f是一個非線性的sigmoid型函數；表示第l個卷積層的第j個輸出矩陣的第i個分量；b_j表示第j個輸出矩陣的偏置；表示第j個輸出矩陣的第a個卷積核的權值；

使用均值池化構建池化層，均值池化層的輸入來源于上卷積層，輸出作為下一個卷積層的輸入，計算公式如下：

其中，代表池化過程結束后的局部輸出，均表示為輸出矩陣。