[發(fā)明專利]基于子群組劃分與動(dòng)量特征融合的人群運(yùn)動(dòng)行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810236397.2
• 申請(qǐng)日: 2018-03-21
• 公開（公告）號(hào): CN109064484B
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 陳志;陳璐;岳文靜;周傳;劉玲;龔凱;掌靜
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06V20/52;G06V10/82;G06N3/04
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 沈廉

本發(fā)明公開了一種基于子群組劃分與動(dòng)量特征融合的人群運(yùn)動(dòng)行為識(shí)別方法，該方法首先利用角點(diǎn)跟蹤和背景建模的方法，獲取視頻圖像幀中運(yùn)動(dòng)目標(biāo)的時(shí)空信息，利用前景中群體分布的空間區(qū)域信息，將空間上相鄰近的人群劃分為若干子群體，子群體通過一段時(shí)間內(nèi)的運(yùn)動(dòng)相關(guān)性進(jìn)行進(jìn)一步的分割，得到具有運(yùn)動(dòng)一致性的子群體；其次在子群體分割的基礎(chǔ)上，提取出人群運(yùn)動(dòng)三個(gè)動(dòng)量特征進(jìn)行融合；最后將融合的特征以及視頻幀的像素特征作為微分循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行訓(xùn)練，采用人工標(biāo)記的方法將訓(xùn)練視頻片段標(biāo)記成不同的描述詞匯，用帶標(biāo)記的數(shù)據(jù)調(diào)整微分循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果，得到了良好的訓(xùn)練成果，能夠有效識(shí)別人群的運(yùn)動(dòng)行為，達(dá)到較好的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于子群組劃分與動(dòng)量特征融合的人群運(yùn)動(dòng)行為識(shí)別方法，主要利用Harris角點(diǎn)檢測算法提取人群運(yùn)動(dòng)軌跡，混合高斯背景建模提取場景的前景特征，進(jìn)行子群組劃分。在子群組基礎(chǔ)上進(jìn)行動(dòng)量特征提取，將提取出三維動(dòng)量特征視頻數(shù)據(jù)輸入至微分循環(huán)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，轉(zhuǎn)化為人群行為標(biāo)簽，達(dá)到人群運(yùn)動(dòng)行為識(shí)別的目標(biāo)，屬于圖像處理、視頻檢測和人工智能交叉技術(shù)應(yīng)用領(lǐng)域。

背景技術(shù)

人群運(yùn)動(dòng)行為識(shí)別的目的是從序列圖像中通過運(yùn)動(dòng)軌跡和前景提取將密集人群劃分成子群組，在子群組的基礎(chǔ)上進(jìn)行人群運(yùn)動(dòng)行為識(shí)別。對(duì)群組級(jí)別的活動(dòng)識(shí)別日益成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱點(diǎn)問題，在智能視頻監(jiān)控，公共安全、體育競技等方面有著廣泛的應(yīng)用。對(duì)于視頻圖像幀中人群運(yùn)動(dòng)行為識(shí)別算法主要有Harris角點(diǎn)檢測算法、混合高斯背景建模方法、動(dòng)量特征融合方法。

(1)哈里斯角點(diǎn)檢測算法：該算法使用一個(gè)固定窗口在圖像上進(jìn)行任意方向上的滑動(dòng)，比較滑動(dòng)前與滑動(dòng)后兩種情況，窗口中的像素灰度變化程度，當(dāng)存在任意方向上的滑動(dòng)時(shí)灰度變化程度較大，則認(rèn)為該窗口中存在角點(diǎn)。角點(diǎn)在保留圖像圖形重要特征的同時(shí)，可以有效地減少信息的數(shù)據(jù)量，使其信息的含量很高，有效地提高了計(jì)算的速度，有利于圖像的可靠匹配，使得實(shí)時(shí)處理成為可能。

(2)混合高斯背景建模方法：其基本思想在于將輸入圖像和背景模型相比較，根據(jù)差值等信息來判斷不符合背景模型的異常情況，從而區(qū)別出前景像素和背景像素。該方法用灰度直方圖表示一個(gè)圖像中灰度值的分布情況，利用這種統(tǒng)計(jì)結(jié)果，假設(shè)圖像序列中像素灰度值的分布服從正態(tài)分布函數(shù)，對(duì)圖像進(jìn)行分割的。

(3)動(dòng)量特征融合方法：該方法從人群子群組層面出發(fā)，將人群聚集的群組作為研究目標(biāo)，構(gòu)建以子群組為單位的動(dòng)量特征。通過最大期望優(yōu)化算法檢測出場景中的所有子群組，針對(duì)檢測到的群組提取出群組的集體性、穩(wěn)定性和沖突性等動(dòng)量特征，構(gòu)成面向子群組的動(dòng)量特征，群組動(dòng)量特征能夠改善由于個(gè)人動(dòng)量特征對(duì)場景的依賴性，用群組單位構(gòu)建場景獨(dú)立的動(dòng)量特征，提升人群運(yùn)動(dòng)行為分析的魯棒性和可擴(kuò)展性。

發(fā)明內(nèi)容

本發(fā)明目的在于人群運(yùn)動(dòng)行為識(shí)別方法，提出了一種基于子群組劃分與動(dòng)量特征融合的人群運(yùn)動(dòng)行為識(shí)別方法，解決了在人群密集場景下微觀分割中人群重疊導(dǎo)致的劃分失誤以及宏觀分割中分割粒度過大造成的人群行為細(xì)節(jié)忽略的問題，并且在此基礎(chǔ)上提出來群體運(yùn)動(dòng)動(dòng)量特征融合訓(xùn)練模型，能夠有效的識(shí)別人群的運(yùn)動(dòng)行為。

本發(fā)明所述一種基于子群組劃分與動(dòng)量特征融合的人群運(yùn)動(dòng)行為識(shí)別方法包括以下步驟：

步驟1)：用戶輸入連續(xù)的視頻，將視頻劃分成連續(xù)的視頻幀，將上述每一個(gè)視頻幀每單個(gè)行人作為一個(gè)特征跟蹤點(diǎn)P，點(diǎn)P的運(yùn)動(dòng)信息用一個(gè)四維向量P＝(P_x,P_y,P_v,P_d)來表示，所述P_x、P_y表示特征跟蹤點(diǎn)的空間坐標(biāo)，P_v表示該點(diǎn)的位移大小，P_d表示該點(diǎn)的運(yùn)動(dòng)方向，P_d值為圖像幀所有特征跟蹤點(diǎn)的點(diǎn)集記為O_I＝{P₁,P₂,P₃,P₄}；