[發明專利]基于單幀圖像的多人并發交互行為理解方法

在審

• 申請號: 202110259862.6
• 申請日: 2021-03-10
• 公開（公告）號: CN113158782A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 王振華;周瑾
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于單幀圖像的多人并發交互行為理解方法，其特征在于，所述方法包括以下步驟：

1)輸入圖片，結合骨架估計和多目標跟蹤算法，獲得人體骨架數據和感興趣區域；

2)使用人體骨架數據生成骨架部件置信度圖和部件親和力場，構建注意力圖；

3)定義基于人體骨架注意力的Resnet-Attention網絡；

4)定義多人交互行為理解的雙流網絡；

從多模態信息和注意力機制出發，提出了一個雙流網絡模型，第一路算法是基于人體骨架注意力的Resnet-Attention網絡，提取增強的RGB特征；第二路算法基于骨架數據，使用當前行為識別效果最優的移位圖卷積網絡，提取精確的骨架特征。

2.如權利要求1所述的一種基于單幀圖像的多人并發交互行為理解方法，其特征在于，所述步驟1)中，感興趣區域指人體邊界框，精確計算感興趣區域是提取交互行為特征的基礎，結合骨架估計算法和多目標跟蹤算法計算感興趣區域，其中，使用AlphaPose從原始圖像中提取人體骨架并輸出人體邊界框，稱之為骨架人體框；同時，使用FairMOT對視頻中的人體進行跟蹤，從而獲得某一幀中每個人的人體邊界框，稱之為跟蹤人體框；骨架人體框的優勢是其貼合實際人體程度較高，而跟蹤人體框易出現四肢在邊界框之外的情況；而對于存在嚴重遮擋或非正常人體位姿的復雜場景，人體骨架估計可能失敗，相比之下跟蹤人體框缺失情況更少。

3.如權利要求2所述的一種基于單幀圖像的多人并發交互行為理解方法，其特征在于，所述步驟2)中，獲取的人體骨架和人體框需要根據標注數據進行匹配，獲取有序的人體骨架數據和感興趣區域，有序數據包含：人體骨架、骨架人體框、跟蹤人體框、感興趣區域、交互組序號、交互組動作標簽和單人動作標簽，以下為計算的步驟：

1.1)利用AlphaPose算法提取人體骨架，并輸出骨架人體框；

1.2)利用FairMOT算法提取跟蹤人體框；

1.3)通過1.1)1.2)中獲得的骨架人體框、跟蹤人體框與標注數據計算邊界框的真實動作標簽與交互組序號，標注數據包含交互目標的人體框、交互組數據和動作標簽，將標注數據與跟蹤邊框匹配：對于任一跟蹤邊框B，計算與B交并比最大的標注邊界框Bmax，如果Bmax存在且對應的交并比大于0.5，則認為Bmax與B匹配，并將Bmax對應的動作標簽與交互組序號賦給跟蹤邊框B；

1.4)融合骨架邊框和跟蹤邊框，得到融合框，融合規則如下：

1.4.1)當骨架邊框與跟蹤邊框都存在時：計算骨架邊框和跟蹤邊框交并比ρ，當ρ大于0.3時，取兩者較小邊界框為融合框；否則取骨架邊框為融合框；

1.4.2)當存在骨架邊框、缺失跟蹤邊框時：取骨架邊框為融合框；

1.4.3)當缺失骨架邊框、存在跟蹤邊框時：如果ρ大于0.3，則取跟蹤邊框為融合框；否則不存在融合框；

1.4.4)當骨架邊框與跟蹤邊框均缺失時：不存在融合框；

后續模型訓練和測試均采用融合框。