[發明專利]一種基于深度神經網絡的人群情緒異常檢測和定位方法

有效

• 申請號: 201710284869.7
• 申請日: 2017-04-27
• 公開（公告）號: CN107169426B
• 公開（公告）日: 2020-03-31
• 發明（設計）人: 郝志峰;鄭小賓;蔡瑞初;溫雯;王麗娟;陳炳豐
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/02
• 代理公司: 廣州市紅荔專利代理有限公司 44214
• 代理人: 吝秀梅;李彥孚

1.一種基于深度神經網絡的人群情緒異常檢測和定位方法，其特征在于，包括以下步驟：

S1)、數據獲取：通過監控設備獲取視頻數據作為訓練視頻數據；

S2、利用視頻關鍵幀提取技術從訓練視頻數據中提取視頻關鍵幀數據；

S3)、數據處理：利用人臉檢測技術從視頻關鍵幀數據中獲取每一幀的人臉圖像數據，并檢測人臉圖像中的人臉特征點，根據人臉特征點對齊人臉圖像后，按照不同個體對人臉圖像進行分組，對分組后的人臉圖像數據按視頻關鍵幀順序排序；

S4)、人臉情緒識別模型的構建：對對齊、分組、排序處理后的人臉圖像數據進行情緒標記，然后將情緒標記后的人臉圖像數據輸入到訓練好的基于卷積神經網絡的人臉情緒識別模型中，并根據人臉圖像數據調整模型全連接層權重，從而得到訓練好的基于監控視頻數據的人臉情緒識別模型；

S5)、構建人群情緒檢測和定位模型：將人臉情緒識別模型的全連接層輸出的特征按時間維度組合成時序特征，并將時序特征輸入長短期記憶循環神經網絡模型中，構建并訓練得到整體的人群情緒檢測和定位模型；

S6)、異常情緒檢測和定位：重新從監控設備中獲取視頻數據作為監測視頻數據，按照步驟S2、S3)對監測視頻數據進行預處理，利用訓練好的人群情緒檢測和定位模型，獲取監測視頻數據中人群情緒異常檢測和定位結果并反饋給監控設備工作人員。

2.根據權利要求1所述的一種基于深度神經網絡的人群情緒異常檢測和定位方法，其特征在于：步驟S4)中，所述的情緒標記包括高興、憤怒、厭惡、恐懼、悲傷、驚奇、焦慮、中性。

3.根據權利要求1所述的一種基于深度神經網絡的人群情緒異常檢測和定位方法，其特征在于：步驟S4)中，所述的基于卷積神經網絡的人臉情緒識別模型的構建包括以下步驟:

S401)、獲取公開的人臉圖像數據集作為訓練樣本集，并對人臉表情數據集進行人臉對齊，以及人臉圖像情緒標記；

S402)、將步驟S401)中處理后的訓練樣本集中的每一張人臉圖像轉換為灰度圖像，由灰度圖像轉換為像素矩陣X＝[x_ij]_M×N，其中，x_ij表示圖像的第i行第j列的像素值，M為圖像的高，N為圖像的寬，其中，寬、高以像素為單位；

S403)、對所有灰度圖像的像素矩陣進行去均值處理，其計算式為：

S404)、將去均值處理后的像素矩陣X輸入到卷積神經網絡模型中；

S405)、對輸入卷積層的灰度圖像的像素矩陣進行卷積計算，計算式為：

式中，i為輸入特征圖的索引，j為輸出特征圖的索引，N_in為輸入特征圖個數，l為網絡層的索引，表示第l層網絡的第j個輸出特征圖，表示第l層網絡的第i個輸入特征圖對應的卷積核，為偏置；

使用下采樣函數down對上一層輸出的特征圖進行下采樣，計算式為：

其中，為偏置；

獲取網絡結構中最后的下采樣層輸出的一系列特征圖將每一個特征圖中的像素依次取出，拼接成一個向量，向量形式為：

S406)、將拼接后的向量R^l作為全連接層的輸入，其計算式為：X^l＝f(W^lR^l+b^l)，

其中，W^l表示第l層的權重矩陣，b^l表示第l層的偏置；

S407)、將全連接層輸出的向量X^l，經激活函數計算得到最后的預測值y_i，其計算式為：

y_i＝g(UX^l+c)，

其中，U為權重矩陣，c為偏置；

S408)、使用交叉熵損失函數，計算預測值y_i與真實值的損失函數值，并最小化損失函數值，其計算式為：

其中，i為人臉圖像數據的索引，j為人臉圖像數據所屬8類情緒標識的索引；

S408)、通過隨機梯度下降法，調整網絡權重k、W、U和偏置a、β、b、c，根據更新后的網絡權重k、W、U和偏置a、β、b、c，重新計算上述損失函數值，不斷迭代直至損失函數值不再減小或到達設定的迭代次數，從而得到訓練好的基于卷積神經網絡的人臉情緒識別模型。

4.根據權利要求1所述的一種基于深度神經網絡的人群情緒異常檢測和定位方法，其特征在于：步驟S6)中，異常情緒檢測和定位還包括以下步驟：

S601)、通過情緒異常檢測和定位模型，獲取人群情緒的預測結果是否異常；

S602)、若預測結果標識為異常，利用人臉情緒識別模型，輸出監測視頻數據中存在異常的個體對應的情緒變化情況；

S603)、根據監測視頻數據中具體人群中個體情緒異常情況，根據出現異常的個體數，從而判定當前視頻人群異常檢測結果屬于整體異常還是局部異常情況。