[發(fā)明專利]一種公交車內(nèi)異常行為智能監(jiān)控系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011218770.5
• 申請日: 2020-11-04
• 公開（公告）號: CN112686090A
• 公開（公告）日: 2021-04-20
• 發(fā)明（設(shè)計）人: 王力;紀(jì)佳慧;何忠賀;張曉平;劉世達(dá);王曉東
• 申請（專利權(quán)）人: 北方工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G08B21/02;G06Q50/26
• 代理公司: 北京德崇智捷知識產(chǎn)權(quán)代理有限公司 11467
• 代理人: 趙亞飛

1.一種公交車內(nèi)異常行為智能監(jiān)控系統(tǒng)，其特征在于，包括

車載終端；

對象層，包括有車輛異常行為庫和異常物品庫；

采集層，包括有視頻數(shù)據(jù)采集模塊，所述視頻數(shù)據(jù)采集模塊用于根據(jù)車輛車廂內(nèi)的空間信息建立模型，劃分區(qū)域并安裝攝像頭，通過角度調(diào)整和相機(jī)標(biāo)定采集車廂內(nèi)各個位置的視頻數(shù)據(jù)；

分析層，包括有視頻數(shù)據(jù)分析模塊，所述視頻數(shù)據(jù)分析模塊利用深度神經(jīng)網(wǎng)絡(luò)對采集的視頻數(shù)據(jù)進(jìn)行人臉檢測、人頭檢測、異常行為檢測，獲取車輛內(nèi)異常行為信息；

終端決策層，包括有車輛異常預(yù)警模塊，所述車輛異常預(yù)警模塊結(jié)合車輛行駛信息，對車輛內(nèi)異常行為進(jìn)行分級預(yù)警，對于不同的預(yù)警級別發(fā)出不同的提示信息并做出緊急報警措施；

云端決策層，包括有終端服務(wù)器和車輛異常事件響應(yīng)模塊，所述車輛異常事件響應(yīng)模塊檢測到車輛內(nèi)異常行為后，對車輛下發(fā)緊急處理指令。

其中，對象層中，異常行為庫和異常物品庫可以根據(jù)實際情況進(jìn)行拓展，通過在訓(xùn)練異常檢測算法的過程中增加異常行為的樣本，以此增加可以判別的異常行為的種類；

采集層中，單個攝像頭可對目標(biāo)進(jìn)行異常檢測和定位，多個攝像頭可對同一目標(biāo)聯(lián)合檢測并跟蹤，多角度地采集了車內(nèi)的視頻信息，有效提升了異常行為檢測的準(zhǔn)確率；

分析層中，多個異常檢測算法被應(yīng)用于不同的攝像頭，全方位的監(jiān)測了車廂內(nèi)各類人員和物品的實時信息；

終端決策層中，通過結(jié)合車速信息、路況信息、路況信息等，通過當(dāng)前出現(xiàn)的異常行為計算當(dāng)前車輛的異常積分，再根據(jù)制定的異常預(yù)警規(guī)則，判別當(dāng)前車輛的異常警報等級，做出相應(yīng)的異常響應(yīng)；

云端決策層中，在接收到了終端報警信號后，經(jīng)過人工商討并決策做出異常事件緊急處理，下發(fā)相應(yīng)的緊急處理指令。

2.根據(jù)權(quán)利要求1所述的一種公交車內(nèi)異常行為智能監(jiān)控系統(tǒng)，其特征在于，所述視頻數(shù)據(jù)采集模塊根據(jù)車輛車廂內(nèi)的空間信息進(jìn)行建模，設(shè)計車廂內(nèi)多個攝像頭的安裝位置和角度；通過相機(jī)標(biāo)定技術(shù)，實現(xiàn)世界坐標(biāo)系與圖像坐標(biāo)系之間的轉(zhuǎn)換，并對車廂空間進(jìn)行區(qū)域劃分；通過應(yīng)用嵌入式設(shè)備，實現(xiàn)單幀圖像在視頻流中的提取，進(jìn)而采集車廂內(nèi)各個位置的視頻數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種公交車內(nèi)異常行為智能監(jiān)控系統(tǒng)，其特征在于，所述視頻數(shù)據(jù)分析模塊功能包括：通過對輸入視頻流的人臉檢測并跟蹤，篩選出最佳質(zhì)量的人臉圖片，并上傳人臉圖片進(jìn)行保存；訓(xùn)練乘客異常行為檢測網(wǎng)絡(luò)，通過提取車廂空間內(nèi)乘客的特征進(jìn)行分類，從而獲得乘客行為的類別；訓(xùn)練駕駛員異常行為檢測網(wǎng)絡(luò)，通過采集駕駛員正常駕駛時的行為的圖片并制作標(biāo)簽對圖像數(shù)據(jù)進(jìn)行標(biāo)注，利用標(biāo)注數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)對輸入的視頻流進(jìn)行提取關(guān)鍵幀檢測，實現(xiàn)駕駛員的行為識別；訓(xùn)練可疑物品檢測網(wǎng)絡(luò)，通過采集違禁物品的圖片，對目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在應(yīng)用時將視頻流輸入可疑物品檢測網(wǎng)絡(luò)，判斷每幀圖片中是否包含可疑物品，若檢測到可疑物品，則輸出物品所在位置信息和類別置信度；異常視頻的保存與上傳，建立異常行為視頻記錄庫和異常報警記錄庫。

4.根據(jù)權(quán)利要求1所述的一種公交車內(nèi)異常行為智能監(jiān)控系統(tǒng)，其特征在于，車輛異常預(yù)警模塊結(jié)合車輛行駛信息設(shè)計積分預(yù)警機(jī)制，構(gòu)造車輛危險指數(shù)函數(shù)；根據(jù)計算出的危險指數(shù)和異常檢測結(jié)果，對車輛內(nèi)異常行為進(jìn)行分級預(yù)警，不同級別警報對應(yīng)不同的提醒方式和處理策略。

5.根據(jù)權(quán)利要求4所述的一種公交車內(nèi)異常行為智能監(jiān)控系統(tǒng)，其特征在于，所述異常積分預(yù)警機(jī)制包括：

采集當(dāng)前車輛的行駛速度、車輛所屬的地理位置、駕駛員的異常行為、乘客的異常行為和可疑物品的出現(xiàn)情況；

對采集的路況和行為信息進(jìn)行量化，對車內(nèi)的異常檢測情況進(jìn)行評估，構(gòu)建車輛危險指數(shù)函數(shù)；

對車輛內(nèi)的異常情況劃分等級進(jìn)行報警，對于不同級別的警報，做出不同的響應(yīng)方式。