[發(fā)明專利]一種基于注意力網(wǎng)絡的車輛行為識別方法

在審

• 申請?zhí)枺?/td>: 202211149044.1
• 申請日: 2022-09-21
• 公開（公告）號: CN115497059A
• 公開（公告）日: 2022-12-20
• 發(fā)明（設計）人: 武卓毅;馬志強;寶財吉拉呼;李雷孝;萬劍雄
• 申請（專利權）人: 內(nèi)蒙古工業(yè)大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/764;G06V10/80;G06V10/82;G06N3/04
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 韓迎之

1.一種基于注意力網(wǎng)絡的車輛行為識別方法，其特征在于，注意力網(wǎng)絡采用雙流卷積網(wǎng)絡結構，車輛行為識別方法具體包括以下步驟：

將待識別的視頻輸入注意力網(wǎng)絡，其中注意力網(wǎng)絡包括：空間特征提取網(wǎng)絡、時間特征提取網(wǎng)絡、時空特征融合網(wǎng)絡，待識別的視頻中包括視頻幀圖像和光流圖像；

通過空間特征提取網(wǎng)絡對輸入的視頻幀圖像進行特征提取，輸出空間特征；

通過時間特征提取網(wǎng)絡對輸入的光流圖像進行特征提取，輸出時間特征；

通過時空特征融合網(wǎng)絡對空間特征和時間特征進行時空特征融合，并判定車輛行為類別。

2.根據(jù)權利要求1的一種基于注意力網(wǎng)絡的車輛行為識別方法，其特征在于，

空間特征提取網(wǎng)絡包括：卷積層、最大池化層、特征提取層、平均池化層。

3.根據(jù)權利要求2的一種基于注意力網(wǎng)絡的車輛行為識別方法，其特征在于，

空間特征提取網(wǎng)絡計算公式：

s₁＝Maxpool(conv_7*7(S))

s₂＝layer(s₁)

s₃＝layer(s₂)

s₄＝layer(s₃)

s₅＝layer(s₄)

out_spatial＝Avgpool(s₅)；

式中：S表示輸入的視頻幀圖像數(shù)據(jù)，conv_7*7表示卷積核為7的卷積層，Maxpool表示最大池化層，s₁表示第一空間流中間特征向量，s₂表示第二空間流中間特征向量，s₃表示第三空間流中間特征向量，s₄表示第四空間流中間特征向量，s₅表示第五空間流中間特征向量，layer表示特征提取層，Avgpool表示平均池化，out_spatial表示空間流網(wǎng)絡輸出結果。

4.根據(jù)權利要求1的一種基于注意力網(wǎng)絡的車輛行為識別方法，其特征在于，

時間特征提取網(wǎng)絡包括：卷積層、最大池化層、特征提取層、注意力單元層、平均池化層。

5.根據(jù)權利要求4的一種基于注意力網(wǎng)絡的車輛行為識別方法，其特征在于，

時間特征提取網(wǎng)絡計算公式：

式中：T表示輸入的光流圖片數(shù)據(jù)，conv_7*7表示卷積核為7的卷積層，t₁表示第一時間流中間特征向量，t₂表示第二時間流中間特征向量，t₃表示第三時間流中間特征向量，t₄表示第四時間流中間特征向量，t₅表示第五時間流中間特征向量，t₆表示第六時間流中間特征向量，t₇表示第七時間流中間特征向量，CBAM*表示注意力單元，Maxpool表示最大池化層，layer表示特征提取層，Avgpool表示平均池化層，out_temporal表示時間流網(wǎng)絡輸出結果。

6.根據(jù)權利要求3或5的一種基于注意力網(wǎng)絡的車輛行為識別方法，其特征在于，

特征提取層包括基礎塊。

7.根據(jù)權利要求6的一種基于注意力網(wǎng)絡的車輛行為識別方法，其特征在于，

基礎塊包括卷積層、批標準化層、非線性激活層。

8.根據(jù)權利要求5的一種基于注意力網(wǎng)絡的車輛行為識別方法，其特征在于，

注意力單元包括：卷積層、非線性激活層、平均池化層、最大池化層。