[發明專利]起立行為目標檢測方法、裝置、終端設備和存儲介質

在審

• 申請號: 202111022912.5
• 申請日: 2021-09-01
• 公開（公告）號: CN115761784A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 張玉兵
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/40;G06V10/46
• 代理公司: 北京澤方譽航專利代理事務所(普通合伙) 11884
• 代理人: 唐明磊

本發明實施例公開了一種起立行為目標檢測方法、裝置、終端設備和存儲介質。本方法中：對采集到的視頻流逐幀進行目標檢測和光流計算，對應分別得到視頻幀中的起立目標和光流；跟蹤相鄰幀中的起立目標，確認各個起立目標對應的初始區域，提取每個初始區域的四肢區域；統計初始區域的光流數目，確認初始區域中的目標區域，目標區域為光流數目達到第一門限值的初始區域；確認目標區域的數量小于預設的區域門限值時，濾除目標區域中對應的四肢區域的光流，確認起立區域，起立區域為剩余的光流達到第二門限值的目標區域。本方案實現了對起立行為的精確檢測，進而保證了錄播過程中的精準視頻采集。

技術領域

本發明實施例涉及圖像處理技術領域，尤其涉及起立行為目標檢測方法、裝置、終端設備和存儲介質。

背景技術

在教育資源電子化建設以及教學場景實時共享時，需要通過錄播產品對教室場景進行視頻數據采集。而在對教室場景進行視頻數據采集時，學生起立和坐下行為識別是實現教學活動過程細節重現的重要功能。當錄播系統檢測到一個學生起立時，學生機會給予學生局部特寫畫面；當檢測到2個或2個以上學生起立時，給予全景畫面。

對于該功能的實現，業界常用的方法有：(1)動量檢測算法，即通過幀差法、背景建模法檢測運動區域，并通過光流識別運動區域的起立動作或坐下動作；(2)基于骨架關鍵點的行為識別方法，即通過關鍵點檢測模型識別人體關鍵點，然后通過邏輯策略或者SVM(Support Vector Machines,支持向量機)、GCN(Graph Convolutional Network，圖卷積網絡)等行為識別方法確定學生行為。

發明人在通過以上技術實施學生行為檢測時發現：動量檢測方法無法判別運動的目標是物體還是學生，易造成誤檢。即使定位的目標是學生，由于學生的穿著，四肢運動，周圍環境等因素的影響，易造成較大的行為判別誤差；而基于bottom-up的關鍵點檢測的行為識別方法，精度低，魯棒性差，不利于教室這種復雜場景下的運用；基于top-down的關鍵點檢測的行為識別方法，受限于目標數量，難以在教室場景的學生機上滿足推理時間限制。另一方面，基于目標檢測的行為識別系統性能很大程度上受限于檢測器的性能。若檢測器未檢測出目標(位置及屬性)，傳統方法難以進行接下來的目標行為判別。整體而言，現有技術方案中的學生行為檢測精度和檢測速度均有不足。

發明內容

本發明提供了一種起立行為目標檢測方法、裝置、終端設備和存儲介質，以解決現有技術方案中學生行為檢測精度和檢測速度不足的技術問題。

第一方面，本發明實施例提供了一種起立行為目標檢測方法，包括：

對采集到的視頻流逐幀進行目標檢測和光流計算，對應分別得到視頻幀中的起立目標和光流；

跟蹤相鄰幀中的所述起立目標，確認各個起立目標對應的初始區域，提取每個初始區域的四肢區域；

統計所述初始區域的光流數目，確認初始區域中的目標區域，所述目標區域為光流數目達到第一門限值的初始區域；

確認所述目標區域的數量小于預設的區域門限值時，濾除所述目標區域中對應的四肢區域的光流，確認起立區域，所述起立區域為剩余的光流達到第二門限值的目標區域。

第二方面，本發明實施例還提供了一種起立行為目標檢測裝置，包括：

初始處理單元，用于對采集到的視頻流逐幀進行目標檢測和光流計算，對應分別得到視頻幀中的起立目標和光流；

區域提取單元，用于跟蹤相鄰幀中的所述起立目標，確認各個起立目標對應的初始區域，提取每個初始區域的四肢區域；

第一統計單元，用于統計所述初始區域的光流數目，確認初始區域中的目標區域，所述目標區域為光流數目達到第一門限值的初始區域；