[發明專利]基于動態信息的人物交互行為識別方法

有效

• 申請號: 202011087925.6
• 申請日: 2020-10-13
• 公開（公告）號: CN112149616B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 謝雪梅;張晨;李啟越;吳樹奇;石光明
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/82;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

本發明公開了一種基于動態信息的人物交互行為識別方法，通過生成人物交互訓練集并搭建人物交互行為識別網絡，克服了現有技術適用性不好、對往復動作和遮擋動作有誤判的問題。本發明實現的步驟是：(1)生成人物交互訓練集；(2)構建視覺特征提取模塊；(3)構建空間特征提取模塊；(4)構建時序特征提取模塊；(5)構建人物交互行為識別網絡；(6)訓練人物交互行為識別網絡；(7)識別視頻圖像中的人物交互行為。本發明具有人物交互行為識別網絡識別交互行為識別率高、適用性好的優點，可用于視頻圖像中交互行為的識別。

技術領域

本發明屬于圖像處理技術領域，更進一步涉及視頻圖像識別技術領域中的一種基于動態信息的人物交互行為識別方法。本發明可對視頻圖像中的人與物體之間發生交互時的行為進行識別。

背景技術

人物交互行為識別是視頻分析，場景理解領域中很重要的一個問題，主要目的是從一段包含人和物體的視頻圖像或者序列中識別人與物體的交互行為，這其中的重點在于高效提取人和物體在時間和空間上的特征表達，融合其視覺特征進行交互配對，實現精確的人物交互行為識別，人物交互行為識別廣泛應用于監控安防及人機交互等方面，已成為計算機視覺和模式識別技術領域中重要的研究課題之一。

現有的方法大多數針對圖像做處理，通過目標檢測方法提取出人和物體的特征，結合相對空間位置提取人和物體的交互特征，最后融合人和物體的特征與交互特征進行交互行為識別。其缺陷在于單個圖像缺乏交互動作的動態信息，對交互行為的識別幫助有限，無法解決往復動作的歧義和遮擋導致的交互動作誤判等問題。此外，目標檢測方法在不同場景下的效果差異很大，需要針對性的微調，使得此類方法適用性不好。

Yu-Wei Chao等人在其發表的論文“Learning to Detect Human-ObjectInteractions.”(IEEE winter conference on applications of computer vision(wacv),2018,pp.381-389)中提出了用視覺特征和空間交互特征進行人物交互行為檢測的方法。該方法利用現有的目標檢測方法檢測出圖像中存在的人和物體，對獲得的人和物體進行兩兩配對，通過深度神經網絡提取人和物體的視覺特征，通過人和物體的空間相對位置描述其空間交互特征，最后融合人物視覺特征和空間交互特征進行人物交互識別。該方法存在的不足之處是：在人物交互行為識別中，圖像缺乏交互動作的動態信息，無法表征時序上的特征，對起身坐下，拿起放下等往復動作無法精確判斷，對有物體遮擋的交互動作也會有誤判，因此導致識別率不高。

上海交通大學在申請的專利文獻“基于深度學習融合各種交互信息的多人行為檢測方法及系統”(專利申請號202010289689.X，公開號111523421A)中公開了一種融合人物交互信息的行為檢測方法。該方法通過目標檢測方法提取視頻圖像中的人和物體的位置，然后將提取到的人和物體位置輸入深度神經網絡提取人物交互、人人交互、人記憶交互三種不同的表征信息，并融合三種表征信息進行行為識別。該方法存在的不足之處是：在輸入深度神經網絡之前用目標檢測方法檢測視頻圖像中存在的人和物體，目標檢測的效果決定了后續行為識別的結果，而目標檢測方法在不同數據集，不同場景下的效果差異很大，需要針對性的微調，導致此方法的適用性不強。

發明內容

本發明的目的在于針對上述現有技術存在的不足，提出一種基于動態信息的的人物交互行為識別方法，以解決現有技術存在的適用性不好、對往復動作和遮擋動作有誤判的問題。

實現本發明目的的技術思路是，利用siamrpn算法生成視頻圖像中所有幀的人所在區域位置和物體所在區域位置，構建視覺特征提取模塊提取人物視覺特征，構建空間特征提取模塊提取人物空間特征，構建時序特征提取模塊融合人物視覺特征和人物空間特征，學習其在時間上的交互特征，對視頻圖像中的人物交互行為進行識別。

本發明的實現的具體步驟如下：

(1)生成人物交互訓練集：