[發(fā)明專利]一種對車輛違規(guī)行為的檢測方法及其系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110378231.6
• 申請日: 2021-04-08
• 公開（公告）號: CN112883936A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計）人: 雷曉春;盧暢;陳俊彥;蓋軍雄;宮照庭
• 申請（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 桂林市持衡專利商標(biāo)事務(wù)所有限公司 45107
• 代理人: 李燕英

1.一種對車輛違規(guī)行為的檢測方法，其特征在于，包括以下步驟：

(1)主車采集行駛環(huán)境中的視頻流，并使用目標(biāo)檢測算法對視頻流進(jìn)行目標(biāo)檢測，判斷視頻流中是否有違規(guī)行為的違章車輛；當(dāng)判斷存在違規(guī)行為時，同時判斷當(dāng)前道路是否處于特殊狀態(tài)，如道路不處于特殊狀態(tài)，提醒用戶前方車輛可能存在違規(guī)行為，同時識別車輛的車牌號、記錄違規(guī)時間段；并將檢測出違規(guī)車輛的相關(guān)視頻進(jìn)行壓縮后和GPS信息、時間信息一起上傳至云計算服務(wù)器；

(2)云計算服務(wù)器在云端對圖像進(jìn)行超分辨重建，將違規(guī)車輛車的牌號、視頻幀對應(yīng)的時間和當(dāng)前GPS信息上傳至云管理平臺；

(3)云計算服務(wù)器根據(jù)GPS信息向違規(guī)車輛周圍的從車發(fā)送消息；

(4)從車接收到消息后把在違規(guī)時間內(nèi)拍攝到的視頻信息壓縮后上傳至云計算服務(wù)器；

(5)云計算服務(wù)器再次對視頻流信息進(jìn)行超分辨重建，主車和從車的視頻信息形成的違規(guī)證據(jù)鏈進(jìn)行車輛重識別并確定車輛在視頻畫面中的位置，綜合多角度判斷車輛是否違規(guī)；若車輛違規(guī)且不在特殊車輛數(shù)據(jù)庫當(dāng)中，則將違規(guī)車輛信息和證據(jù)鏈保存至云管理平臺數(shù)據(jù)庫中；若車輛違規(guī)情況仍舊無法進(jìn)行判斷且不屬于特殊車輛數(shù)據(jù)庫當(dāng)中則上傳至人工通道進(jìn)行判斷；若車輛沒有違規(guī)則刪除違規(guī)證據(jù)鏈。

2.根據(jù)權(quán)利要求1所述的一種對車輛違規(guī)行為的檢測方法，其特征在于：當(dāng)從車接收到主車發(fā)送的圖像信息后，首先對圖像信息進(jìn)行解析以獲取從云管理服務(wù)器傳輸來的時間戳信息；然后將時間戳內(nèi)的視頻流進(jìn)行壓縮，接著移動攝像頭舵機采集周圍車輛信息判斷當(dāng)前視野中是否有目標(biāo)車輛，如果還有畫面中識別到目標(biāo)車輛則將攝像頭舵機移動到合適的拍攝角度再拍攝5秒，將再次拍攝的視頻數(shù)據(jù)進(jìn)行壓縮一并上傳至云計算服務(wù)器。

3.根據(jù)權(quán)利要求1或2所述的一種對車輛違規(guī)行為的檢測方法，其特征在于：在步驟(1)中，如道路處于特殊狀態(tài)，判斷道路處于特殊狀態(tài)時車輛是否違規(guī)，如違規(guī)，則識別車輛的車牌號、記錄違規(guī)時間段；并將檢測出違規(guī)車輛的相關(guān)視頻幀進(jìn)行壓縮后上傳至云計算服務(wù)器。

4.根據(jù)權(quán)利要求1或2所述的一種對車輛違規(guī)行為的檢測方法，其特征在于，在步驟(1)中使用的目標(biāo)檢測算法為YOLO-DAP算法，包括以下步驟：

①訓(xùn)練基礎(chǔ)YOLO識別網(wǎng)絡(luò)：將FPRN層和PRN層的參數(shù)進(jìn)行凍結(jié)，訓(xùn)練出可以正常識別物體的神經(jīng)網(wǎng)絡(luò)；

②訓(xùn)練SVM分類器：首先對抗樣本圖像數(shù)據(jù)集進(jìn)行整理，數(shù)據(jù)中包含正常圖像和干擾之后的圖像，正常的圖像對應(yīng)輸出標(biāo)簽0，干擾之后的圖像即為對抗性圖像，模型輸入為干擾數(shù)據(jù)即對抗性圖像與正常圖像按照向量運算相減之后的干擾像素，若輸出標(biāo)簽為0則表示不是干擾像素，若輸出標(biāo)簽為1則表示為干擾像素，經(jīng)過多次迭代后當(dāng)SVM分類器可以在測試數(shù)據(jù)集中表現(xiàn)良好時停止訓(xùn)練；

③訓(xùn)練PRN層和FPRN層：將Yolo骨干網(wǎng)絡(luò)除FPRN層外的參數(shù)進(jìn)行凍結(jié)，即在接下來的訓(xùn)練過程中只更新PRN層和FPRN層的參數(shù)，訓(xùn)練數(shù)據(jù)集為正常圖像和由正常圖像生成的干擾圖像，在一次迭代的過程中，將正常圖像直接輸入到目標(biāo)網(wǎng)絡(luò)當(dāng)中得到預(yù)測標(biāo)簽即圖像是正常圖像還是經(jīng)過惡意擾動后會對檢測網(wǎng)絡(luò)造成影響的圖像，之后將干擾圖像輸入PRN層后再輸入到目標(biāo)檢測網(wǎng)絡(luò)中得到圖像中車輛、行人等物體的位置信息、置信度信息和類別信息，最后根據(jù)損失函數(shù)的計算結(jié)果更新網(wǎng)絡(luò)權(quán)重；

④對攻擊圖像分類：使用訓(xùn)練好的SVM分類器對輸入的圖像進(jìn)行分類，判斷該圖像是否為攻擊圖像；

⑤對攻擊圖像進(jìn)行修復(fù)：如果步驟④中判斷輸入圖像為攻擊圖像則通過PRN層對該圖像進(jìn)行修復(fù)，修復(fù)過程為對輸入的對抗性樣本圖像先經(jīng)過一個卷積層，然后經(jīng)過5個殘差模塊后再經(jīng)過兩個卷積層，輸出去除干擾后圖像；

⑥圖像分區(qū)：經(jīng)過步驟④、⑤的圖像將被分成S x S個網(wǎng)格，如果某個物體的中心落在這個網(wǎng)格中，那么這個網(wǎng)格就負(fù)責(zé)預(yù)測這個物體，每個網(wǎng)絡(luò)需要預(yù)測B個BBox的位置信息和置信度信息，一個位置信息對應(yīng)著四個位置信息和一個置信度信息，置信度代表了所預(yù)測的物體框中含有物體的置信度和這個物體預(yù)測的準(zhǔn)確度兩重信息；

⑦將Brelu激活函數(shù)添加入YOLO-DAP網(wǎng)絡(luò)中：網(wǎng)絡(luò)中的激活函數(shù)全部替換為有界leakyrelu激活函數(shù)；

⑧對特征圖像進(jìn)行修復(fù)：當(dāng)圖像特征信息到達(dá)FPRN層后對圖像特征層進(jìn)行對抗性修復(fù)，輸入對抗性樣本圖像的特征圖先經(jīng)過3個殘差模塊后再經(jīng)過一個卷積層，輸出為去除干擾后特征圖；

⑨檢測物體信息：對于每個網(wǎng)格，都預(yù)測2個邊框，預(yù)測出S x Sx 2個目標(biāo)窗口后，根據(jù)閾值去除可能性比較低的目標(biāo)窗口，最后通過極大值抑制去除冗余窗口，即可獲得車輛的位置信息、類別信息和置信度信息。