[發明專利]一種行人異常行為檢測方法、系統、終端以及存儲介質

在審

• 申請號: 202011069611.3
• 申請日: 2020-09-30
• 公開（公告）號: CN112163537A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 胡金星;楊戈
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 魏毅宏

1.一種行人異常行為檢測方法，其特征在于，包括：

從至少兩路監控視頻下的所有視頻幀中提取行人的骨骼關鍵點信息，并獲取每個骨骼關鍵點在同一坐標系下的三維空間坐標信息；

根據所述每個骨骼關鍵點的三維空間信息構建所述行人的骨骼關鍵點時空圖；

將所述行人的骨骼關鍵點時空圖輸入時空圖神經網絡模型，計算得到所述行人的異常分數值，根據所述異常分數值判斷所述行人是否行為異常。

2.根據權利要求1所述的行人異常行為檢測方法，其特征在于，所述從至少兩路監控視頻下的所有視頻幀中提取行人的骨骼關鍵點信息，并獲取每個骨骼關鍵點在同一坐標系下的三維空間坐標信息前還包括：

基于統一空間地理坐標框架對至少兩路監控視頻分別進行地理標定，對所述監控視頻進行圖像像素坐標與世界地理坐標的轉換。

3.根據權利要求2所述的行人異常行為檢測方法，其特征在于，所述對所述監控視頻進行圖像像素坐標與世界地理坐標的轉換包括：

采用地理坐標系分別選取每路監控視頻的控制點，并獲取所述控制點的像素坐標及地理坐標；

利用相機標定方法獲取相機參數并校正圖像畸變；

選定矩形感興趣地面區域，對所述監控視頻進行透視變換及地理配準，進行圖像像素坐標與世界地理坐標的轉換：

上述公式中，x′_i，y′_i為矩形角點圖像的平面坐標，x_i，y_i為通過所述控制點獲取的矩形角點圖像的世界地平面坐標，M為已知相機內參矩陣，s為已知尺度因子，R為未知旋轉矩陣，T為未知平移向量；通過矩形的4個角點坐標對求解R及T，得到圖像上矩形內的圖像坐標到世界坐標的映射：

4.根據權利要求1所述的行人異常行為檢測方法，其特征在于，所述從至少兩路監控視頻下的所有視頻幀中提取行人的骨骼關鍵點信息，并獲取每個骨骼關鍵點在同一坐標系下的三維空間坐標信息包括：

基于人體姿態估計模型優化提取m(m≥1)個行人的J個骨骼關鍵點信息，所述骨骼關鍵點信息包括關鍵點的圖像坐標(u,v)以及關鍵點的置信度c；

根據所述至少兩路監控視頻識別出同一時間戳不同視點下以及不同時間戳同一視點下的同一行人，以所述每個行人的骨骼關鍵點信息的最小外包矩形作為每個行人的邊界框，求解所述邊界框底邊中點像素坐標的地理坐標，將所述地理坐標作為行人目標地理位置；

基于ResNet重識別特征提取模型提取所述每個行人的邊界框下圖像的重識別特征；

基于所述行人目標地理位置以及所述重識別特征對至少兩個視點下的同一行人進行目標匹配；

通過標定法獲取每個視點的投影矩陣p，使用直接線性變換算法將同一行人在不同視點、同一時間戳t下的各個同名關鍵點j(1≤j≤J)的二維坐標變換為唯一的三維空間坐標對每個骨骼關鍵點的三維空間坐標進行求解，得到每個骨骼關鍵點的三維空間坐標信息。

5.根據權利要求4所述的行人異常行為檢測方法，其特征在于，所述對每個骨骼關鍵點的三維空間坐標進行求解包括：

min_X‖AX‖

上述公式中，為三維空間坐標，N≥2，為第N個視點的投影矩陣第k行，u_N、v_N分別為視點N下的骨骼關鍵點圖像坐標分量。

6.根據權利要求5所述的行人異常行為檢測方法，其特征在于，所述根據所述每個骨骼關鍵點的三維空間信息構建所述行人的骨骼關鍵點時空圖包括：

根據所述每個骨骼關鍵點的三維空間信息以同一行人的骨骼關鍵點作為該行人骨骼關鍵點時空圖的頂點，每個頂點的特征信息f(f∈R_1×4)由同一空間坐標系下的三維坐標系和置信度組成；

根據邊連接構建規則對各頂點建立邊連接，得到行人骨骼關鍵點時空圖其中，為所述時空圖的鄰接矩陣；

所述邊連接構建規則包括：

對同一視頻幀或時間戳下存在人體自然連接結構的骨骼關鍵點建立邊連接；

對時序上相鄰的同名骨骼關鍵點建立邊連接。