[發(fā)明專利]一種基于雙流卷積神經(jīng)網(wǎng)絡(luò)和SVM的抽煙動作識別方法

在審

• 申請?zhí)枺?/td>: 201911147202.8
• 申請日: 2019-11-21
• 公開（公告）號: CN110909672A
• 公開（公告）日: 2020-03-24
• 發(fā)明（設(shè)計）人: 鄧楊敏;李亨;呂繼團(tuán)
• 申請（專利權(quán)）人: 江蘇德劭信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京知識律師事務(wù)所 32207
• 代理人: 高嬌陽

本發(fā)明公開了一種基于雙流卷積神經(jīng)網(wǎng)絡(luò)的危險行為自動識別方法，通過兩個不同的卷積神經(jīng)網(wǎng)絡(luò)分別學(xué)習(xí)時間特征和空間特征并使用Softmax獲取動作識別結(jié)果；不直接簡單加權(quán)融合兩個網(wǎng)絡(luò)的Softmax分類結(jié)果，將兩個訓(xùn)練Softmax的輸出作為新的輸入特征來SVM分類器，最終實現(xiàn)對視頻中人物抽煙動作的自動識別。本發(fā)明使用SVM對時域卷積網(wǎng)絡(luò)和空域卷積網(wǎng)絡(luò)的分類結(jié)果建模，進(jìn)一步提升了基于視頻的人物抽煙行為自動識別的精度。

技術(shù)領(lǐng)域

本發(fā)明涉及基于雙流卷積神經(jīng)網(wǎng)絡(luò)的人體行為識別，更具體的是涉及一種針對監(jiān)控視頻數(shù)據(jù)的抽煙動作自動識別方法。

背景技術(shù)

吸煙不僅是一種對人體健康危害巨大的不良習(xí)慣，更是一種安全隱患的主要誘發(fā)原因。對于加油站、油庫、化學(xué)藥品庫等存儲大量易燃易爆物品的場所，吸煙的明火可能導(dǎo)致火災(zāi)或爆炸等安全事故，造成巨大的經(jīng)濟(jì)損失和人員傷亡。目前，在上述場所下對于吸煙行為的防范主要依靠宣傳標(biāo)語警示或安全人員監(jiān)察，將可能引發(fā)的巨大災(zāi)難寄托在依靠宣傳標(biāo)語喚醒的人員素質(zhì)是不可靠的，安全人員也難以時刻觀察場所內(nèi)所有人員的行為，在吸煙后發(fā)現(xiàn)和及時制止，安全隱患已經(jīng)出現(xiàn)。因此，我們急需一種在吸煙安全隱患剛剛出現(xiàn)的瞬間就能檢測并報警的基于監(jiān)控視頻的抽煙行為自動識別方法，通過對禁煙場所的監(jiān)控視頻流中人員姿態(tài)的估計和動作的識別，對可能存在的抽煙動作及時預(yù)警，提醒管理人員重點注意，在減輕了安保人員工作強(qiáng)度的同時提高大幅度降低可能存在的安全隱患。

目前，基于計算機(jī)視覺的吸煙檢測主要是通過分析和識別煙霧，包括利用顏色、能量等煙霧靜態(tài)特征或飄動方向等動態(tài)特征。相比于火災(zāi)產(chǎn)生的濃煙，吸煙煙霧的濃度相對低且范圍相對小；在露天情況下，煙霧特征受光照、風(fēng)向、風(fēng)速等干擾，現(xiàn)有的技術(shù)難以提取到理想的煙霧特征進(jìn)行吸煙行為識別。隨著技術(shù)的不斷進(jìn)步，基于深度學(xué)習(xí)算法的視頻數(shù)據(jù)智能分析正在快速發(fā)展，在人物臉部識別、人物位置預(yù)測等領(lǐng)域已經(jīng)被大量應(yīng)用。

發(fā)明內(nèi)容

針對以上問題，本發(fā)明提出了一種基于雙流卷積神經(jīng)網(wǎng)絡(luò)和SVM的抽煙動作識別方法。針對露天環(huán)境下難以提取到理想的煙霧特征進(jìn)行吸煙行為識別的問題，通過識別人物的動作來識別抽煙行為，使用兩個不同的卷積神經(jīng)網(wǎng)絡(luò)分別學(xué)習(xí)時間特征和空間特征并使用Softmax獲取動作識別結(jié)果；針對抽煙動作的相似性動作較多容易出現(xiàn)誤判的問題，不直接簡單加權(quán)融合兩個網(wǎng)絡(luò)的Softmax分類結(jié)果，將兩個訓(xùn)練Softmax的輸出作為新的輸入特征來SVM分類器，提高視頻中人物抽煙動作的識別準(zhǔn)確率。

為了解決以上問題，本發(fā)明采用了如下技術(shù)方案：

一種基于雙流卷積神經(jīng)網(wǎng)絡(luò)和SVM的抽煙動作識別方法，其特征在于，包括以下步驟：Step1原始數(shù)據(jù)準(zhǔn)備

針對常見場景下的人物抽煙行為，通過收集來自吸煙室監(jiān)控攝像頭及網(wǎng)絡(luò)的視頻數(shù)據(jù)。

Step2數(shù)據(jù)預(yù)處理

(1)將大小、幀率各不相同的視頻數(shù)據(jù)統(tǒng)一到相同大小和25幀率。

(2)截取視頻數(shù)據(jù)中關(guān)鍵的抽煙動作部分，將視頻的時長控制在10s左右。

(3)將每一個視頻拆成視頻幀，每一個視頻隨機(jī)抽取10張圖片組成圖片數(shù)據(jù)集。

Step3數(shù)據(jù)集制作

針對Step2預(yù)處理后的數(shù)據(jù)進(jìn)行人工分類，將人工分類信息作為網(wǎng)絡(luò)訓(xùn)練的類別監(jiān)督信息。隨機(jī)選取增強(qiáng)后視頻數(shù)據(jù)的60％作為訓(xùn)練數(shù)據(jù)，剩余的作為測試數(shù)據(jù)；隨機(jī)選取圖片數(shù)據(jù)集中的60％作為訓(xùn)練數(shù)據(jù)，其余的作為測試數(shù)據(jù)。

Step4空域卷積網(wǎng)絡(luò)的構(gòu)建與訓(xùn)練

Step4-1空域卷積網(wǎng)絡(luò)的構(gòu)建