[發明專利]一種基于深度神經網絡的人群情緒異常檢測和定位方法

有效

• 申請號: 201710284869.7
• 申請日: 2017-04-27
• 公開（公告）號: CN107169426B
• 公開（公告）日: 2020-03-31
• 發明（設計）人: 郝志峰;鄭小賓;蔡瑞初;溫雯;王麗娟;陳炳豐
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/02
• 代理公司: 廣州市紅荔專利代理有限公司 44214
• 代理人: 吝秀梅;李彥孚

本發明涉及一種基于深度神經網絡的人群情緒異常檢測和定位方法，通過監控設備獲取視頻數據，并對其進行視頻關鍵幀數據提取，并從視頻關鍵幀數據獲取每一幀的人臉圖像數據，并進行對齊、分組、排序預處理，然后輸入到訓練好的基于卷積神經網絡的人臉情緒識別模型中，并通過訓練好的人群情緒檢測和定位模型，獲取監測視頻數據中人群情緒異常檢測和定位結果并反饋給監控設備工作人員，本發明設計合理，通過模型能夠得到人群情緒異常與人群異常之間的關系，避免了人群異常與具體異常事件相關聯而導致的檢測局限性問題，另外，模型采用了混合的深度神經網絡結構模型，從而進一步提高了視頻人群情緒異常檢測和定位的效率。

技術領域

本發明涉及一種計算機視覺技術領域，尤其是一種基于深度神經網絡的人群情緒異常檢測和定位方法。

背景技術

隨著社會的持續穩定發展和人民群眾物質文化生活水平的不斷提高，城市人群聚集區域的娛樂活動、商業活動等越來越被公眾關注，這些活動往往場地空間有限且參與人數眾多，一旦發生異常情況，極易對廣大人民群眾的生命和財產安全產生嚴重危害，為了盡早的發現異常情況，及時采取措施，主要借助城市中廣泛存在的監控設備，通過監控設備進行異常情況的檢測和定位；

異常檢測主要分為兩類：整體異常檢測和局部異常檢測，整體異常指的是由場景中的所有個體引發的異常，整體異常檢測的任務是檢測異常事件，并確定異常事件的起始和終止位置，以及它們之間的過渡；

局部異常是指由某個個體引發的異常，這個個體可能有別于其他正常的個體，局部異常檢測的任務是檢測異常事件，并定位異常發生的位置。

異常檢測根據對異常的不同定義而有所區別，通常對于異常的定義會與具體發生的事件關聯起來，而人群情緒異常的定義是指人群中整體或個體出現的不正常情緒變化，即對于異常的檢測并不與具體的異常事件直接關聯。例如，當人群恐慌事件發生時，人群整體上從中性情緒到恐慌情緒的變化，就是一種人群情緒異常情況，需要關注的是情緒的異常變化情況，而不需要知道具體的異常事件；

對于情緒的定義，在研究中普遍采用Ekman的離散情緒模型，它將情緒分為高興、憤怒、厭惡、恐懼、悲傷、驚奇六類，為了更有效地刻畫情緒的變化，在這基礎上我們增加了焦慮情緒及中性情緒，

而對于目前來說，監控設備遠沒有達到智能監控的程度，仍需要大量的工作人員來監測異常情況，對異常情況進行反饋，通過對監控視頻異常情況的分析，不僅需要大量工作人員，而且分析結果也不準確，而且反饋具有遲延性，往往在異常情況出現時，才能發現異常情況，極其不利于工作人的監控以及對異常情況的處理。

發明內容

針對現有技術的不足，本發明提供一種基于深度神經網絡的人群情緒異常檢測和定位方法，從而解決現有人群異常檢測技術中存在的異常定義與具體異常事件直接關聯而導致的檢測局限性問題。

本發明的技術方案為：一種基于深度神經網絡的人群情緒異常檢測和定位方法，其特征在于，包括以下步驟：

S1)、數據獲取：通過監控設備獲取視頻數據作為訓練視頻數據；

S2、利用視頻關鍵幀提取技術從訓練視頻數據中提取視頻關鍵幀數據；

S3)、數據處理：利用人臉檢測技術從視頻關鍵幀數據中獲取每一幀的人臉圖像數據，并檢測人臉圖像中的人臉特征點，根據人臉特征點對齊人臉圖像后，按照不同個體對人臉圖像進行分組，對分組后的人臉圖像數據按視頻關鍵幀順序排序；

S4)、人臉情緒識別模型的構建：對對齊、分組、排序處理后的人臉圖像數據進行情緒標記，并將情緒標注后的人臉圖像數據輸入到訓練好的基于卷積神經網絡的人臉情緒識別模型中，并根據人臉圖像數據調整模型全連接層權重，從而得到訓練好的基于監控視頻數據的人臉情緒識別模型