[發(fā)明專利]一種基于行人姿態(tài)的特定行為檢測方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211464932.2
• 申請日: 2022-11-22
• 公開（公告）號: CN115761640A
• 公開（公告）日: 2023-03-07
• 發(fā)明（設計）人: 張重陽;張思飛
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/25;G06V10/764;G06V10/774;G06N3/08
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀;張琳

1.一種基于行人姿態(tài)的特定行為檢測方法，其特征在于，包括兩個階段，第一個階段為時序候選片段生成階段，第二個階段為行為識別階段；

其中，所述第一個階段，包括

從視頻采集設備或網絡獲取視頻流，解碼得到圖像，緩存若干圖像幀構成一個圖像序列；

對所述視頻圖像序列進行逐幀處理，每幀圖像通過行人檢測及姿態(tài)識別，得到每幀圖像的關于所有類別的行為姿態(tài)的概率值列表，將該幀圖像及對其對應的所述概率值列表存入緩存隊列；

匯總所述緩存隊列中的特定行為姿態(tài)的概率值，根據所述概率值判斷所述緩存隊列中是否存在特定姿態(tài)；

若存在，動態(tài)擴展所述緩存隊列的長度，直至特定姿態(tài)不再出現，獲得候選片段；若不存在，則舍棄所述緩存隊列；

其中，所述第二個階段，包括：

對所述第一個階段生成的所述候選片段進行采樣并進行特定姿態(tài)的分類識別，輸出檢測結果。

2.根據權利要求1所述的一種基于行人姿態(tài)的特定行為檢測方法，其特征在于，所述對視頻圖像序列進行逐幀處理，每幀圖像通過行人檢測及姿態(tài)識別，得到每幀圖像包括所有行為姿態(tài)的概率值列表，包括：

對于每幀圖像，檢測每幀圖像中的行人，得到行人目標位置框序列；

遍歷所述行人目標位置框序列，對每個行人目標位置框的行人目標對應區(qū)域裁剪，得到行人框圖像；

遍歷結束后，將得到的行人框圖像組成序列，得到行人框圖像序列；

對所述行人框圖像序列進行所有類別的行為姿態(tài)識別，得到所有類別的行為姿態(tài)的概率值列表。

3.根據權利要求2所述的一種基于行人姿態(tài)的特定行為檢測方法，其特征在于，所述對行人框圖像序列進行所有類別的行為姿態(tài)識別，得到所有類別的行為姿態(tài)的概率列表，包括：

對所述行人框圖像序列進行包括尺寸與像素的預處理；

將所述預處理后的行人框圖像序列送入姿態(tài)識別網絡，預測得到記錄所有行人目標各姿態(tài)類別概率的二維列表；

對所述記錄所有行人目標各姿態(tài)類別概率的二維列表進行歸約，統(tǒng)計各姿態(tài)類別出現在每幀視頻圖像中的概率。

4.根據權利要求3所述的一種基于行人姿態(tài)的特定行為檢測方法，其特征在于，所述對記錄所有行人目標各姿態(tài)類別概率的二維列表進行歸約，統(tǒng)計各姿態(tài)類別出現在每幀視頻圖像中的概率，包括：

遍歷每個姿態(tài)類別，取對應所述姿態(tài)類別的所有行人目標的概率最大值，記為所述姿態(tài)類別存在于每幀視頻圖像中的概率；

將每幀視頻圖像中所有姿態(tài)類別的存在概率以列表數據結構存儲。

5.根據權利要求1所述的一種基于行人姿態(tài)的特定行為檢測方法，其特征在于，在所述判斷緩存隊列是否存在特定姿態(tài)之前，需先判斷緩存隊列是否達到長度閾值；如已達到，則判斷該緩存隊列是否存在特定姿態(tài)；如未達到，則判定所述緩存隊列長度不足以包含完整的動作，繼續(xù)對所述視頻圖像序列進行逐幀處理。

6.根據權利要求1所述的一種基于行人姿態(tài)的特定行為檢測方法，其特征在于，所述匯總緩存隊列特定行為姿態(tài)的概率值，根據所述概率值判斷所述緩存隊列中是否存在特定姿態(tài)，包括：

針對特定行為特點，預定義與該特定行為對應的特定姿態(tài)類別；

計算所述緩存隊列中各種姿態(tài)類別的平均概率；

從所述各種姿態(tài)類別的平均概率中索引，得到所述特定姿態(tài)類別的平均概率，若大于等于閾值，則認為所述緩存隊列中存在所述特定行為，否則不存在。

7.根據權利要求1所述的一種基于行人姿態(tài)的特定行為檢測方法，其特征在于，所述動態(tài)擴展所述緩存隊列的長度，直至特定姿態(tài)不再出現，包括：

在所述緩存隊列的末尾附加設定長度視頻片段；

對所述附加的設定長度視頻片段同樣進行行人檢測及姿態(tài)識別并判定其中是否存在特定姿態(tài)；

如果存在特定姿態(tài)，則繼續(xù)在末尾附加設定長度視頻片段，否則認為行為已經結束，終止動態(tài)擴展。