[發明專利]基于多模態信息融合與決策優化的組群行為識別方法

有效

• 申請號: 202010111024.X
• 申請日: 2020-02-24
• 公開（公告）號: CN111339908B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 王傳旭;胡小悅;閆春娟
• 申請（專利權）人: 青島科技大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/52;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 青島匯智海納知識產權代理有限公司 37335
• 代理人: 劉曉

本發明公開一種基于多模態信息融合與決策優化的組群行為識別方法，首先針對待進行組群行為識別的視頻，獲取組群成員候選框序列，提取其對應的光流特征，并提取人體姿態分割特征作為第三重視覺線索；然后獲取人體目標時空特征的雙流模型并將其進行多模態信息融合(MMF)；最后將經過MMF融合后得到的兩條支路分別連接GRU，并采用基于自適應類別權重的多分類器融合方法進行決策優化，進而獲得組群行為標簽。本發明方案在特征融合時，設計MMF特征融合算法使得時空兩路特征相輔相成，信息互為補充，最終獲得更好的特征表示；在決策優化方面，設計基于自適應類別權重的多分類融合方法，對分類器取舍與各類別權重進行更加精確的計算，從而取得較高的識別精度。

技術領域

本發明屬于計算機視覺技術領域，具體的涉及一種基于多模態信息融合與決策優化的組群行為識別方法，以實現視頻序列中的組群行為識別。

背景技術

近年來，視頻中的人類行為識別在計算機視覺領域取得了舉世矚目的成就。人體行為識別在現實生活中也得到了廣泛應用，如智能視頻監控、異常事件檢測、體育分析、理解社會行為等，這些應用都使得組群行為識別具有重要的科學實用性和巨大的經濟價值。隨著深度學習逐漸在計算機視覺領域取得了巨大成功，各類神經網絡架構也逐漸被應用于基于視頻的人類行為識別，并取得了顯著成效。

申請公布號為【CN110188637A】的發明專利公開一種基于深度學習的行為識別技術方法；通過采用雙流卷積神經網絡和GRU網絡相結合的方式搭建更深層次的時空雙流CNN-GRU神經網絡模型；提取視頻的時間域和空間域特征；根據GRU網絡能記憶信息的能力，提取時空特征序列的長時間序列化特征，利用softmax分類器進行視頻的行為識別；提出新的基于相關熵的損失函數；借鑒人腦視覺神經注意力機制處理海量信息的方法，在時空雙流CNN-GRU神經網絡模型進行時空特征融合之前引入注意力機制，在一定程度上提高了識別率。

但是，在現有組群行為識別研究算法中，仍然存在以下缺陷：(1)在特征提取方面，僅考慮視頻序列中人物的空間外觀特征，沒有考慮人物的光流運動特征；(2)采用雙流輸入提取特征時，僅將空間特征和光流運動特征進行簡單的前期或后期融合；(3)在決策優化方面，僅采用加權平均的決策優化方法進行決策優化時，往往將不同特征所得到的分類結果同等看待，無法判別每種分類性能的好壞，因此很難對復雜問題進行有效分類。因此，現有技術對組群行為的識別所考慮的因素少，不夠全面，容易產生誤判，影響組群識別精度。

發明內容

本發明針對現有組群行為識別方法考慮的因素少、容易誤判，影響識別精度的缺陷，提出一種基于多模態信息融合與決策優化的組群行為識別方法，能夠取得更高的識別精度。

本發明是采用以下的技術方案實現的：一種基于多模態信息融合與決策優化的組群行為識別方法，包括以下步驟：

步驟A、針對待進行組群行為識別的視頻，獲取組群成員候選框序列，提取其對應的光流特征，并提取人體姿態分割特征作為第三重視覺線索；

步驟B、獲取人體目標時空特征的雙流模型并將其進行MMF融合；

步驟B1、根據步驟A中得到組群成員候選框序列、光流特征以及人體姿態分割特征進行多重視覺線索的特征提取，基于I3D網絡分別對應的提取視頻序列中組群成員的RGB空間外觀特征、時間運動特征和空間姿態特征；

步驟B2、將經過I3D網絡提取的兩組時空特征進行MMF融合，通過壓縮和激勵操作，利用多模態輸入重新校準每條特征支路中的通道特征，將RGB空間外觀特征支路和時間運動特征支路互為補充，同時使空間姿態特征支路和時間運動特征支路也互為補充，實現多模態特征融合；

步驟C、經過MMF融合后得到的兩條支路分別連接GRU網絡，基于GRU網絡的時序模型捕獲視頻中組群成員的長期時序關系；

步驟D、最后基于自適應類別權重的多分類器決策優化，獲得組群行為標簽，完成組群行為識別。