[發明專利]基于語言和肢體特征的自殺和暴力傾向情感識別方法

有效

• 申請號: 202010764407.7
• 申請日: 2020-08-02
• 公開（公告）號: CN112101095B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 杜廣龍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/80;G06V10/82;G06N3/0442;G06N3/0464;G06N3/049;G06N3/084;G06F18/213;G06V10/774;G06V10/764
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了基于語言和肢體特征的自殺和暴力傾向情感識別方法。所述方法包括以下步驟：使用Kinect來收集視頻和音頻，分別將視頻和音頻中提取的語音特征和視覺特征轉化為文本描述；將通過一個具有自組織映射層的神經網絡對文本描述進行融合，得到文本描述嵌入向量；使用Softmax函數根據文本描述嵌入向量分析自殺和暴力傾向。本發明考慮到靜態的身體動作和動態的身體動作，達到更高的效率。

技術領域

本發明屬于情感識別領域，特別涉及基于語言和肢體特征的自殺和暴力傾向情感識別方法。

背景技術

為了防止人們自殘或暴力傾向，檢測他們的情緒是很有用的。人類的情緒可以通過多種方式識別，如心電圖、腦電圖、言語、面部表情等。在各種情緒信號中，生理信號被廣泛應用于情緒識別。近年來，人體運動也成為一種新的特征。傳統的方法有兩種，一種是通過接觸測量物體的生理指標，另一種是用非接觸的方法觀察物體的生理特性。事實上，雖然非侵入性的方法更好，但對象可以掩飾他們的情緒。從技術上講，音頻和視頻(北京大學學報,2006,5(1):165-182)，很容易獲得，但容易受到噪聲的影響。因此，融合特性是必要的。這些方法雖然取得了顯著的效果，但仍需改進。

發明內容

本發明的目的是為了解決上述現有技術存在的缺陷，提出了基于語言和肢體特征的自殺和暴力傾向情感識別方法。帶有紅外(IR)攝像頭的Kinect可以防止面部圖像受到照明的影響。因此，使用Kinect來收集語音、肢體動作等信息。本發明考慮了語音的頻譜和韻律特征，以幫助識別語音內容中的情緒。通過從語音中提取韻律和頻譜特征，可以將語音轉換為文本描述，包括語調、語調和語速等信息。為了準確地描述運動，將身體運動分為靜態身體運動和動態身體運動。采用卷積神經網絡(CNN)和雙向長短時記憶條件隨機場(Bi-LSTM-CRF)分別對人體靜態運動和動態運動進行了分析。多傳感器數據融合需要可靠的數據融合方法。將這些信息融合到文本中進行情感識別是有效的。最后，將語音、肢體動作等信息融合到文本描述中。

本發明的目的至少通過如下技術方案之一實現。

基于語言和肢體特征的自殺和暴力傾向情感識別方法，包括以下步驟：

S1、使用Kinect來收集視頻和音頻，分別將視頻和音頻中提取的語音特征和視覺特征轉化為文本描述；

S2、將通過一個具有自組織映射層的神經網絡對文本描述進行融合，得到文本描述嵌入向量；

S3、使用Softmax函數根據文本描述嵌入向量分析自殺和暴力傾向。

進一步地，步驟S1中，所述語音特征包括語音內容、韻律和頻譜；所述視覺特征為人體的肢體動作，肢體動作分為靜態動作和動態動作。

進一步地，步驟S1包括以下步驟：

S1.1、通過Kinect的Windows?SDK?v2.0公開預覽直接將語音內容轉換為內容文本描述；其韻律和頻譜這兩個特征通過經典結構的反向傳播神經網絡(BPNN)轉化為視頻狀態文本描述；

S1.2、將捕獲的視頻中選擇的單幀通過卷積神經網絡(CNN)處理，轉換為靜態運動文本描述；從Kinect中獲得并表示出骨骼的關節點，將每一時刻的骨骼關節點位置記錄下來，最終形成序列骨架數據；將連續動作即N個集合動作對應的骨架點序列編碼成向量，采用雙向長短期記憶條件隨機場(Bi-LSTM-CRF)處理該向量得到動作序列，最后Softmax分類器用于將動作序列分類為相應的動態運動文本描述。