[發明專利]一種基于注意力機制和關系網絡的自動駕駛圖像識別方法

有效

• 申請號: 202110043727.8
• 申請日: 2021-01-13
• 公開（公告）號: CN112800871B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 吳家皋;惠志磊;耿辰;渠嘯
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06K9/62;G06V10/764;G06V10/84
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明提出了一種基于注意力機制和關系網絡的自動駕駛圖像識別方法，首先，使用卷積神經網絡提取自動駕駛圖像特征；接著，通過注意力機制計算注意力特征；然后，利用關系網絡生成圖像中對象之間的關系結果；最后通過損失函數訓練網絡，并用訓練好的模型進行自動駕駛場景的關系判斷。本發明運用關系網絡識別自動駕駛圖像，能顯式表達圖像中對象之間的關系，從而提高識別和推理的準確性；此外，引入了新的注意力機制，降低了模型在處理復雜自動駕駛場景時的計算復雜度，提高了模型有效性和學習效率。

技術領域

本發明屬于人工智能、自動駕駛領域，具體涉及一種基于注意力機制和關系網絡的自動駕駛圖像識別方法。

背景技術

深度學習是機器學習領域中的一個新的研究方向，被引入機器學習，使其更接近人工智能。最終目的是讓機器能夠像人類一樣，具有分析學習能力，能夠識別文字、聲音和圖像等數據。

卷積神經網絡可以說是傳統神經網絡的改進，沿用了層級網絡的結構，但在層的功能和形式上進行了改變。處理原始數據時，將輸入進行卷積計算、非線性函數激活、池化操作、全連接操作等一系列的操作，將特征信息從原始數據中逐步提取出來。以上過程為“前饋運算”。在卷積網絡的最后一層，輸出目標函數，通過設計損失函數，計算真實值和預測值之間的誤差，之后通過反向傳播算法，將誤差先前逐層反饋，更新參數，并再次向前反饋，多次重復之后，使網絡模型達到收斂的效果，達到模型訓練的目的。

目前基于人工神經網絡的圖像識別技術已經比較成熟，甚至可以將人眼不易識別的物體在圖像中標注出來，可以認為在某些方面，人工神經網絡的表現已經超越了人類。但是一般的卷積神經網絡并不具備解決關系問題的通用能力，并且在自動駕駛中，識別出物體的目的是為了判斷物體之間的位置關系，因此需要將“關系”這一要素添加到神經網絡的訓練過程當中。Adam Santoro等提出了一種用于關系推理的簡單神經網絡模塊——關系網絡，使人工神經網絡獲得了關系推理能力。在后續的工作中，Adam Santoro等也表明了，配備關系網絡模塊的深度學習架構能夠發現并且學習取推理關系。

同時，注意力機制已在深度學習中被廣泛應用。注意力機制源于對人類視覺的研究，注意力模型最初被用于機器翻譯，現在已成為神經網絡領域的一個重要概念。注意力機制可以利用人類視覺機制進行直觀解釋。例如，我們的視覺系統傾向于關注圖像中輔助判斷的部分信息，并忽略掉不相關的信息。同樣，在涉及語言或視覺的問題中，輸入的某些部分可能會比其他部分對決策更有幫助。

本方法中，通過添加注意力機制，將關系網絡原本將所有物體兩兩組合產生的關系對優化為篩選之后的物體兩兩組合產生的關系對，降低了無關關系因素的干擾。

發明內容

發明目的：針對自動駕駛圖像識別中，神經網絡模型無法直接得到物體之間位置關系的問題，提出一種基于注意力機制和關系網絡的自動駕駛圖像識別方法，將注意力機制引入關系神經網絡以降低模型復雜度，并能在圖像識別中，較準確地得到圖像中物體之間的位置關系。

發明內容：本發明提出一種基于注意力機制和關系網絡的自動駕駛圖像識別方法，具體包括以下步驟：

(1)提取自動駕駛圖像特征并進行預處理；

(2)通過注意力機制計算自動駕駛圖像注意力特征；

(3)利用關系網絡構造注意力向量關系對，計算生成關系結果B；

(4)將步驟(3)生成的最終關系B與目標關系向量O計算歐氏距離作為損失函數值，最后再反饋回整個神經網絡，反復進行訓練，直到模型收斂；

(5)用訓練好的模型進行自動駕駛場景關系判斷。

進一步地，所述步驟(1)包括以下步驟：