[發明專利]一種基于注意力機制和關系網絡的自動駕駛圖像識別方法

有效

• 申請號: 202110043727.8
• 申請日: 2021-01-13
• 公開（公告）號: CN112800871B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 吳家皋;惠志磊;耿辰;渠嘯
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06K9/62;G06V10/764;G06V10/84
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于注意力機制和關系網絡的自動駕駛圖像識別方法，其特征在于，包括以下步驟：

(1)提取自動駕駛圖像特征并進行預處理；

(2)通過注意力機制計算自動駕駛圖像注意力特征；

(3)利用關系網絡構造注意力向量關系對，計算生成關系結果B；

(4)將步驟(3)生成的最終關系B與目標關系向量O計算歐氏距離作為損失函數值，最后再反饋回整個神經網絡，反復進行訓練，直到模型收斂；

(5)用訓練好的模型進行自動駕駛場景關系判斷；

所述步驟(3)包括以下步驟：

(31)對于F_att中任意空間位置的特征向量a_ij∈R^c,i,j∈[1,d]，僅當掩碼M對應位置的元素m_ij∈M為1時，構造注意力向量A_ij＝a_ij,i,j,A_ij∈R^c+t，其中，t為位置信息i,j的長度，數值上t＝2log₂d，將所有注意力向量加入集合S＝{A_ij|i,j∈[1,d]}；

(32)將集合S中的任意元素A_ij，A_lk兩兩組合構成關系對A_ij，A_lk，并傳入多層感知器網絡MLP得到獲得相應的關系向量B_ijlk∈R²⁵⁶；

(33)將生成的所有關系向量B_ijlk逐元素相加依次傳入MLP和softmax函數層，生成最終的關系結果B。

2.根據權利要求1所述的基于注意力機制和關系網絡的自動駕駛圖像識別方法，其特征在于，所述步驟(1)包括以下步驟：

(11)自動駕駛數據集由一系列圖像組成，設任一圖像為I∈R^W×H×C，其中，W為像素寬度，H為像素高度，C為通道數；對于每一幅圖像，標注出其中的對象，并定義對象之間的關系，然后將所有對象與當前自動駕駛車輛以及它們兩兩之間的關系向量作為訓練目標O；

(12)將圖像I輸入卷積神經網絡，進行4次卷積操作，得到特征映射F，F∈R^c×d×d，其中，c是通道特征維度，d為空間特征的寬度及高度，卷積核尺寸為5×5×24。

3.根據權利要求1所述的基于注意力機制和關系網絡的自動駕駛圖像識別方法，其特征在于，所述步驟(2)包括以下步驟：

(21)對于特征映射F，在通道維度上使用最大池化層和平均池化層，聚化特征F的空間信息，產生最大池化特征MP∈R^d×d和平均池化特征AP∈R^d×d；

(22)對MP和AP同時進行單層卷積操作，卷積核尺寸為1×1，得到壓縮特征矩陣N＝Conv(MP,AP),N∈R^d×d；

(23)將壓縮特征矩陣N傳入softmax函數，生成概率矩陣P，再將P傳入二值化函數，獲得0-1注意力掩碼M∈{0,1}^d×d；

(24)將特征F與掩碼M以廣播方式逐個元素相乘，以得到注意力特征F_att，即：

F_att∈R^c×d×d。

4.根據權利要求2所述的基于注意力機制和關系網絡的自動駕駛圖像識別方法，其特征在于，步驟(11)所述的對象包括人、車、道路、路邊設施、障礙物；所述的對象之間的關系包括前、后、左、右、遠、近關系。