[發明專利]一種基于注意力網絡的車輛行為識別方法

在審

• 申請號: 202211149044.1
• 申請日: 2022-09-21
• 公開（公告）號: CN115497059A
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 武卓毅;馬志強;寶財吉拉呼;李雷孝;萬劍雄
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/764;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 韓迎之

本發明公開了一種基于注意力網絡的車輛行為識別方法，涉及人工智能技術領域。本發明包括將待識別的視頻輸入注意力網絡；通過空間特征提取網絡對輸入的視頻幀圖像進行特征提取，輸出空間特征；通過時間特征提取網絡對輸入的光流圖像進行特征提取，輸出時間特征；通過時空特征融合網絡對空間特征和時間特征進行時空特征融合，并判定車輛行為類別。本發明利用特征拼接技術進行特征融合，實現了保證車輛行為識別網絡功能的同時利用視頻中的時間特征和空間特征進行建模以提高識別準確性的目的。

技術領域

本發明涉及人工智能技術領域，更具體的說是涉及一種基于注意力網絡的車輛行為識別方法。

背景技術

車輛行為識別是智能交通系統(Intelligent Transportation System，ITS)的重要功能之一，其旨在通過計算機視覺算法判定車輛行為的類別。由于深度神經網絡在特征提取和時序建模中的優異表現，基于深度學習技術的車輛行為識別方法已經成為了當前研究熱點。車輛行為識別任務中車輛作為小目標物體的情況常常出現，因此運動的小目標車輛特征提取成為了車輛行為識別任務面臨的挑戰。國際光學工程學會將256x256的圖像中目標面積小于80個像素的物體定義為小目標物體。針對這一問題，研究人員提出了特征金字塔方法、超分辨增強技術和注意力機制三種方法。由于單一使用特征金字塔方法或超分辨增強技術提取運動小目標特征提取效果不佳，因此許多研究人員采取嵌入輕量級注意力機制的方式來改善這一問題，從而提高車輛識別精度。

時間特征和空間特征屬于視頻中不同的特征表達空間，兩者對于行為識別都起到重要的作用，忽略以上任一維度特征對于車輛行為識別的判定都會出現誤差，增加行為建模難度。當目標車輛占據視頻畫面較小時，傳統的車輛行為識別模型往往難以精確提取到該類車輛的有效特征，反而引入了和判定行為類別無關的冗余特征，導致網絡出現最終判定結果不準確的問題。

針對上述問題，本發明采用雙流卷積網絡將視頻幀圖像和堆棧光流圖像作為輸入，結合注意力單元提出了一種基于注意力機制的車輛行為識別網絡，利用特征拼接技術進行特征融合，保證車輛行為識別網絡同時利用視頻中的時空特征進行建模。本發明創新的CBAM*注意力單元不僅可以提示網絡模型在圖片有效部分加強有用信息的特征并抑制無用特征，此外CBAM*注意力單元還具有通道注意力的作用，本發明的時間流特征提取網絡以光流圖堆棧的方式作為輸入，將每一張光流圖作為一個通道，從而使得車輛識別網絡從全局信息出發，選擇通道之間重要的特征。

發明內容

有鑒于此，本發明提供了一種基于注意力網絡的車輛行為識別方法，本發明目的在于通過雙流卷積網絡進行視頻中的時空特征的提取與融合。將車輛行為識別問題轉化為深度學習中的分類問題，利用交通視頻中的時空信息表征車輛行為的高級語義信息；對小目標車輛關鍵運動特征進行增強，去除冗余信息，有效避免小目標車輛的特征信息損失，減少網絡模型的對車輛行為誤判機率。

為了實現上述目的，本發明采用如下技術方案：

一種基于注意力網絡的車輛行為識別方法，注意力網絡采用雙流卷積網絡結構，車輛行為識別方法具體包括以下步驟：

將待識別的視頻輸入注意力網絡，其中注意力網絡包括：空間特征提取網絡、時間特征提取網絡、時空特征融合網絡，待識別的視頻中包括視頻幀圖像和光流圖像；

通過空間特征提取網絡對輸入的視頻幀圖像進行特征提取，輸出空間特征；

通過時間特征提取網絡對輸入的光流圖像進行特征提取，輸出時間特征；

通過時空特征融合網絡對空間特征和時間特征進行時空特征融合，并判定車輛行為類別。

可選的，空間特征提取網絡包括：卷積層、最大池化層、特征提取層、平均池化層。

可選的，空間特征提取網絡計算公式：

s₁＝Maxpool(conv_7*7(S))