[發明專利]一種基于行人姿態的特定行為檢測方法及系統

在審

• 申請號: 202211464932.2
• 申請日: 2022-11-22
• 公開（公告）號: CN115761640A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 張重陽;張思飛
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/25;G06V10/764;G06V10/774;G06N3/08
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀;張琳

本發明提供一種基于行人姿態的特定行為檢測方法及系統，包括獲取圖像序列；對每個視頻圖像序列進行逐幀處理，每幀圖像通過行人檢測及姿態識別，得到每幀圖像的關于所有類別的行為姿態的概率值列表，將該幀圖像及對其對應的概率值列表存入緩存隊列；匯總緩存隊列中的特定行為姿態的概率值，根據概率值判斷緩存隊列中是否存在特定姿態；動態擴展緩存隊列的長度，直至特定姿態不再出現，獲得候選片段；對候選片段進行采樣并進行特定姿態的分類識別，輸出檢測結果。本發明直接關注到行人目標，去除復雜的背景干擾，提升檢測精度；其候選片段動態擴展策略有助于盡可能避免行為片段被切分，使得行為檢測輸出更貼合實際行為區間。

技術領域

本發明涉及行人目標行為檢測技術領域，具體地，涉及一種基于行人姿態的特定行為檢測方法及系統。

背景技術

視頻行人目標行為檢測是計算機視覺視頻理解領域的重要分支，在機器人技術、人機交互、智能安防系統、視頻檢索等領域有著相當廣泛的需求及應用，特別地在當今的大數據、多媒體盛行的時代，各類視頻的爆炸式增長，如此海量的數據再按照傳統的人工審核查驗、觀察的管理方式已經無法應對，社會的發展迫切需要對視頻進行自動化理解的算法技術的支持。

和所有圖像或者視頻理解任務一樣，行為檢測遵循著計算機視覺領域的范式，首先對輸入視頻信息進行特征提取，再基于得到的中間特征圖結果進行分析檢測。根據提取特征的方式不同，可以將行為檢測算法大致分為兩大類別，即基于人工設計特征的傳統檢測識別方法和基于深度學習神經網絡搭建的檢測框架。

傳統方法設計的人工特征包括靜態圖像特征和動態時序特征。靜態圖像挖掘的是幀圖像中的關鍵區域信息，其中早期代表性工作當屬基于關鍵點信息量化的SIFT尺度不變特征變換。SIFT首先生成尺度空間，在空間中檢測極值點并對關鍵點進行描述，依據特征信息進行匹配。HOG方向梯度直方圖特征可以看做是對SIFT特征的升級，屬于局部特征描述子。HOG關注圖像局部區域的梯度方向，借助直方圖的方式進行統計計算，從而來構成特征。動態特征則關注視頻圖像序列中呈現的運動特征變化，對行為識別理解領域起到了很關鍵的作用。最早由Horn等人提出的光流是最主流的描述視頻中運動的模態，直至今日依然被主流模型用以提供運動信息從而提升模型性能。光流是通過檢測圖像像素點的強度隨時間的變化進而推斷出物體移動速度及方向的方法。除了光流，時空特征的捕捉也是早期的主流傳統方法，該特征通常對應時空興趣點集合，基于時空上的重要信息進行行為描述。

從2012年深度卷積神經網絡在ImageNet圖像分類任務上取得了顯著的性能提升，深度學習方法在計算機視覺領域開始爆發式發展，不斷涌現出關鍵突破性成果以至于工業級別的實際應用部署。在現如今大數據時代的支持下，構建深度學習網絡和樣本豐富的數據集相比傳統方法避免了繁雜的人工特征設計，算法整體更加簡潔高效，模型的容量和預測能力也更加強大。

針對行為檢測任務而言，目前主流的基于深度學習的方法大致可以分為兩類，即單階段時序行為檢測和兩階段時序行為檢測。兩階段的檢測方法源于目標檢測領域的論文啟發，首先會生成大量的候選片段，然后利用檢測網絡對候選片段提取特征并完成分類和回歸優化邊界。為了應對長視頻的候選生成挑戰，最早的工作是基于固定尺寸滑動窗口的自頂向下的方式來解決的，S-CNN是第一個將滑動窗口引入時序行為檢測任務的算法，通過滑動窗口生成一系列可能包含動作的緩存隊列，再基于緩存隊列分類解析。包括BSN、BMN在內的基于動作發生概率的時序行為檢測方法采用的是自底向上的設計，這些方法會對視頻序列以片段為單位生成動作起始概率、動作結束概率、動作發生概率。根據片段預測的屬性值進行組合生成預測框，最后進行分類。R-C3D網絡利用預先設定的錨點框進行候選區域的生成，然后用三維的池化算子提取片段的特征，在特征提取的基礎上最后進行分類和回歸操作。

單階段時序行為檢測將候選片段的生成和分類任務結合起來同時進行，SSAD是較早的單階段時序行為檢測代表性工作，它將目標檢測的SSD框架應用在了視頻行為檢測的時序建模上。最近提出的AFSD則借鑒了目標檢測中的無錨點框成果FCOS，將無錨點框的網絡設計引入到了時序行為檢測任務中達到了優秀的檢測性能。