[發明專利]一種前背景分離的人體動作在線檢測方法

有效

• 申請號: 202210532569.7
• 申請日: 2022-05-10
• 公開（公告）號: CN114926900B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 程建;夏子瀛;劉思宇;侯琴;吳雨恒
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/764;G06V10/82;G06V10/774;G06N3/0464;G06N3/048;G06N3/08;G06N5/04
• 代理公司: 成都先導云創知識產權代理事務所(普通合伙) 51321
• 代理人: 李坤

本發明屬于視頻處理技術領域，具體涉及一種前背景分離的人體動作在線檢測方法，本發明包括：采集包含人體動作的視頻數據并做時序標注；對原始視頻數據進行預處理生成數據集；構建基于I3D的骨干網絡進行特征提取；構建特征映射模塊，設計基于特征模長的對比損失函數，對前背景特征進行初次分離；構建可學習的前景記憶特征與互注意力模塊，計算特征序列元素與前景的相似性以分離前背景；構建基于自注意力機制的時序推理器，結合前背景分離結果對特征序列編碼；構建分類器基于編碼結果完成對人體動作的在線檢測。本發明在極少增加模型運算量的前提下，極大提高了待檢測人體動作視頻幀與歷史視頻幀之間的辨別性，進而提高人體動作在線檢測的檢測精度。

技術領域

本發明涉及機器學習技術領域，尤其涉及一種前背景分離的人體動作在線檢測方法。

背景技術

在信息通信技術以及多媒體技術日益發展的數字化時代背景下，視頻或在線視頻流已成為人類日常社交、安防分析以及智能城市等多個技術領域的關鍵信息載體，對視頻內容進行分析和理解相關技術的需求也日益增加。其中，對視頻中的人類動作檢測與識別，是視頻分析與理解問題的重要組成部分。現有基于視頻的人體動作分析與理解技術主要集中于對已剪輯好的視頻中的人體動作進行識別以及對未剪輯的視頻中的動作進行檢測分類，難以滿足現實各類應用任務如無人駕駛，智慧監控等應用中的實時分析應用需求，人體動作在線檢測為以上技術缺陷提供了一種解決方法。

人體動作在線檢測任務要求基于已觀測到的歷史視頻圖像信息以及當前時刻的圖像信息，對當前時刻的人體動作進行識別。該任務可應用于在線視頻流中，可實現對人體動作的實時檢測。現有的動作在線檢測方法中，主要基于深度學習進行實現。具體地，由于該任務無法得到未來動作信息，現有方法主要基于RNN以及Transformer等時序推理模型，通過特征映射及計算注意力等方式，探尋當前時刻圖像與歷史幀序列中各圖像間的相關性，通過增加非相關幀間特征的距離或對圖像序列進行相關性加權，提升模型推理時當前圖像與其余非相關圖像之間的辨別性，以提高檢測性能。

然而，由于人體動作與背景間存在類間差異大，類內差異小的特性，且各類動作背景間表現差異極大，幾乎不存在共享語義信息。因此當前時刻圖像幀與其余歷史圖像幀間的相關性無論從原始圖像層面還是特征層面都并不明顯，從而導致現有基于相關性分析的人體動作在線檢測方法無法有效提升幀間辨別性，進而導致檢測精度普遍較低。

發明內容

為了解決上述現有技術中存在的技術問題，本發明提供了一種前背景分離的人體動作在線檢測方法，擬解決現有人體檢測方法中動作與背景的特征辨別性不足而導致的檢測精度較低的問題。

本發明采用的技術方案如下：

一種前背景分離的人體動作在線檢測方法，包括以下步驟：

步驟1：采集包含人體動作的視頻數據，并對視頻數據中的人體動作標注動作起始時間、結束時間以及動作類別，得到原始視頻數據集；

步驟2：對原始視頻數據集按預定比例進行隨機劃分得到訓練集和測試集，并分別對原始視頻數據集中的數據進行預處理和構建訓練樣本；

步驟3：基于I3D(Inflated?3D?ConvNet)構建特征提取模塊，對原始視頻數據集中的數據進行特征提取，得到人體動作特征；

步驟4：構建基于多層感知機的特征映射模塊，并通過基于特征模長設計的對比損失對輸入特征序列中的前背景特征在特征空間中分離；

步驟5：構建維度與步驟4中的輸出維度相同的可學習前景記憶特征向量與基于互注意力的相似性度量模塊，得到與輸入特征序列對應的前背景類別概率向量；

步驟6：構建基于自注意力機制的時序推理器，利用步驟5中得到的前背景類別概率向量對輸入特征序列進行加權后，輸入時序推理器進行編碼，得到編碼序列特征；