[發明專利]一種基于姿態時空特征的考場異常行為識別方法

有效

• 申請號: 201911339854.1
• 申請日: 2019-12-23
• 公開（公告）號: CN111178216B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 周昊;劉暢;侯寶玉
• 申請（專利權）人: 東北大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V40/20
• 代理公司: 北京易捷勝知識產權代理有限公司 11613
• 代理人: 韓國勝

1.一種基于姿態時空特征的考場異常行為識別方法，其特征在于，包括如下步驟：

步驟A1、對考場監控視頻進行截幀，獲得連續多幀考生肢體行為圖像，所述考場監控視頻是由攝像頭采集獲得的；

步驟A2、對所述考生肢體行為圖像進行預處理，提取考生肢體行為圖像中考生的關鍵點的時空信息序列；

步驟A3、將所述時空信息序列輸入單人原子行為識別模型，輸出異常行為的類型、時間、位置和方向，或輸出行為正常；

其中，單人原子行為識別模型為基于考生肢體行為圖像和對應的行為類別抽象出的模型；

步驟A4、基于異常行為的類型、時間、位置和方向，篩選并提取出時間接近、位置相鄰且異常行為的類型相對應的考生的關鍵點的時空信息序列；

步驟A5、將步驟A4中獲取的時空信息序列輸入雙人協同行為識別模型，輸出雙人異常行為類型；

其中，雙人協同行為識別模型為基于兩名考生異常行為的類型、時間、位置和方向的模型；

所述單人原子行為識別模型中包括異常行為：舉手、伸手、轉動和坐姿，分別以RH、RA、TN和SP表示；

當單人原子行為識別模型中輸出異常行為類型為舉手時，滿足下述條件：

或

其中：B_i為考生的關鍵點P_i的時空信息序列，考生的關鍵點Pi為考生肢體行為圖像中對應的鼻部、頸部、右肩部、左肩部、右肘關節、左肘關節、右腕關節、左腕關節和髖骨中心的區域，分別表示為P₁、P₂、P₃、P₄、P₅、P₆、P₇、P₈和P₉，B_i＝＜P,F＞，P＝{P_i|i∈1,2,...,9}，P表示異常行為涉及到的關鍵點的集合，F表示異常行為涉及到的關鍵點滿足的條件的集合，t(B_i)表示B_i的異常行為類型，t(B_i)∈{RH,RA,TN,SP}，為考生的關鍵點P_i在考生肢體行為圖像中的縱坐標。

2.根據權利要求1所述的考場異常行為識別方法，其特征在于，所述雙人協同行為識別模型中包括異常行為：左右位置雙人異常行為和前后位置雙人坐姿異常行為；

所述左右位置雙人異常行為包括左右位置雙人伸手和左右位置雙人互視。

3.根據權利要求1所述的考場異常行為識別方法，其特征在于，當單人原子行為識別模型中輸出異常行為類型為伸手時，滿足下述條件：

或

其中：B_i為考生的關鍵點P_i的時空信息序列，B_i＝＜P,F＞，P＝{P_i|i∈1,2,...,9}，P表示異常行為涉及到的關鍵點的集合，F表示異常行為涉及到的關鍵點滿足的條件的集合，為考生的關鍵點P_i在考生肢體行為圖像中的橫坐標，θ_n為考生肢體行為圖像中考生大臂與小臂的實際角度，θ_r為考生大臂與小臂的預設角度，t(B_i)表示B_i的異常行為類型，t(B_i)∈{RH,RA,TN,SP}，o(B_i)為B_i的方向，o(B_i)∈{L,U,D,R}，L、U、D、R分別表示左方、前方、后方和右方；

為考生的關鍵點P_i在考生肢體行為圖像中的坐標，d₁、d₂、d₃分別為P₃與P₅、P₅與P₇、P₃與P₇的距離；分別為過直線P₅?P₇、直線P₆?P₈的斜率。