[發(fā)明專利]一種行人異常行為檢測方法、系統(tǒng)、終端以及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011069611.3
• 申請日: 2020-09-30
• 公開（公告）號: CN112163537A
• 公開（公告）日: 2021-01-01
• 發(fā)明（設(shè)計(jì)）人: 胡金星;楊戈
• 申請（專利權(quán)）人: 中國科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32
• 代理公司: 深圳市科進(jìn)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44316
• 代理人: 魏毅宏

本申請涉及一種行人異常行為檢測方法、系統(tǒng)、終端以及存儲介質(zhì)。包括：從至少兩路監(jiān)控視頻下的所有視頻幀中提取行人的骨骼關(guān)鍵點(diǎn)信息，并獲取每個骨骼關(guān)鍵點(diǎn)在同一坐標(biāo)系下的三維空間坐標(biāo)信息；根據(jù)所述每個骨骼關(guān)鍵點(diǎn)的三維空間信息構(gòu)建所述行人的骨骼關(guān)鍵點(diǎn)時空圖；將所述行人的骨骼關(guān)鍵點(diǎn)時空圖輸入時空圖神經(jīng)網(wǎng)絡(luò)模型，計(jì)算得到所述行人的異常分?jǐn)?shù)值，根據(jù)所述異常分?jǐn)?shù)值判斷所述行人是否行為異常。本申請能夠減少攝像投影信息丟失、提高行人動作細(xì)節(jié)檢測能力，更有效識別行人異常行為。

技術(shù)領(lǐng)域

本申請屬于行人模式識別技術(shù)領(lǐng)域，特別涉及一種行人異常行為檢測方法、系統(tǒng)、終端以及存儲介質(zhì)。

背景技術(shù)

隨著城市規(guī)模不斷擴(kuò)大，城市公共空間越加復(fù)雜，城市人口數(shù)量越加龐大，給城市安全管理帶來巨大挑戰(zhàn)。隨著智慧城市的不斷建設(shè)發(fā)展，監(jiān)控視頻現(xiàn)已廣泛普及且不斷升級，基于監(jiān)控視頻的行人異常檢測在城市安全管理領(lǐng)域發(fā)揮重大作用。

目前，基于監(jiān)控視頻的行人異常行為檢測主要基于單個視點(diǎn)監(jiān)控視頻，并以行人整體或整個視頻幀為基礎(chǔ)進(jìn)行運(yùn)動特征、紋理特征的異常行為分析，或基于人體關(guān)鍵點(diǎn)進(jìn)行檢測識別。采用單個視頻監(jiān)控進(jìn)行人體關(guān)鍵點(diǎn)的異常分析方法在實(shí)際使用中具有一定局限性，具體體現(xiàn)在以下幾點(diǎn)：

一、無法進(jìn)行跨視頻的行人行為模式監(jiān)控分析，且難以聯(lián)合多個視點(diǎn)監(jiān)控視頻有效恢復(fù)行人三維關(guān)鍵點(diǎn)進(jìn)行分析。

二、由于缺乏視頻地理標(biāo)定，難以對大范圍行人行為進(jìn)行建模分析、態(tài)勢分析和預(yù)測預(yù)警。

三、由于人工標(biāo)注數(shù)據(jù)需要耗費(fèi)大量人力，通常首選較粗粒度的標(biāo)注方法(例如只標(biāo)注某個視頻片段包含有行人異常事件而不標(biāo)注具體時間以及具體的行人)以節(jié)省人力成本，目前還缺少此類粗粒度的標(biāo)注數(shù)據(jù)，并以弱監(jiān)督學(xué)習(xí)的方式訓(xùn)練異常行為檢測模型。

發(fā)明內(nèi)容

本申請?zhí)峁┝艘环N行人異常行為檢測方法、系統(tǒng)、終端以及存儲介質(zhì)，旨在至少在一定程度上解決現(xiàn)有技術(shù)中的上述技術(shù)問題之一。

為了解決上述問題，本申請?zhí)峁┝巳缦录夹g(shù)方案：

一種行人異常行為檢測方法，包括：

從至少兩路監(jiān)控視頻下的所有視頻幀中提取行人的骨骼關(guān)鍵點(diǎn)信息，并獲取每個骨骼關(guān)鍵點(diǎn)在同一坐標(biāo)系下的三維空間坐標(biāo)信息；

根據(jù)所述每個骨骼關(guān)鍵點(diǎn)的三維空間信息構(gòu)建所述行人的骨骼關(guān)鍵點(diǎn)時空圖；

將所述行人的骨骼關(guān)鍵點(diǎn)時空圖輸入時空圖神經(jīng)網(wǎng)絡(luò)模型，計(jì)算得到所述行人的異常分?jǐn)?shù)值，根據(jù)所述異常分?jǐn)?shù)值判斷所述行人是否行為異常。

本申請實(shí)施例采取的技術(shù)方案還包括：所述從至少兩路監(jiān)控視頻下的所有視頻幀中提取行人的骨骼關(guān)鍵點(diǎn)信息，并獲取每個骨骼關(guān)鍵點(diǎn)在同一坐標(biāo)系下的三維空間坐標(biāo)信息前還包括：

基于統(tǒng)一空間地理坐標(biāo)框架對至少兩路監(jiān)控視頻分別進(jìn)行地理標(biāo)定，對所述監(jiān)控視頻進(jìn)行圖像像素坐標(biāo)與世界地理坐標(biāo)的轉(zhuǎn)換。

本申請實(shí)施例采取的技術(shù)方案還包括：所述對所述監(jiān)控視頻進(jìn)行圖像像素坐標(biāo)與世界地理坐標(biāo)的轉(zhuǎn)換包括：

采用地理坐標(biāo)系分別選取每路監(jiān)控視頻的控制點(diǎn)，并獲取所述控制點(diǎn)的像素坐標(biāo)及地理坐標(biāo)；

利用相機(jī)標(biāo)定方法獲取相機(jī)參數(shù)并校正圖像畸變；

選定矩形感興趣地面區(qū)域，對所述監(jiān)控視頻進(jìn)行透視變換及地理配準(zhǔn)，進(jìn)行圖像像素坐標(biāo)與世界地理坐標(biāo)的轉(zhuǎn)換：