[發明專利]一種融合視覺注意力機制的智能車輛環境感知方法

有效

• 申請號: 201911412860.5
• 申請日: 2019-12-31
• 公開（公告）號: CN111126338B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 連靜;王政皓;李琳輝;周雅夫;尹昱航;李磊
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/25;G06V10/40;B60W40/00;G06N3/04
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李洪福

本發明公開了一種融合視覺注意力機制的智能車輛環境感知方法，包括以下步驟：將處理后的視差圖和灰度圖輸入到權重共享的孿生卷積神經網絡中，提取灰度特征即G特征和深度特征即D特征；利用歸一化算法對D特征和車輛轉角信號進行歸一化，生成與深度和車輛轉角有關的注意力分配權重W；采用Hadamard乘積方式進行融合，生成視覺注意力特征A；將壓縮后的視覺注意力特征A輸入到回歸預測網絡中進行回歸預測，得到目標的位置以及類別。本發明引入視覺注意力機制，有助于減少圖像中無關區域對計算資源的占用，且對注意力集中的區域具有更高的檢測精確度。本發明可降低交通場景的復雜性，減少無關區域占用的計算資源，提高目標檢測的實時性。

技術領域

本發明涉及智能車輛的環境感知領域，尤其涉及一種基于計算機視覺的智能車輛環境感知方法。

背景技術

隨著汽車自動駕駛技術與智能網聯技術的發展，智能車輛成為當下的研究熱點，而智能車輛的環境感知技術是智能車輛領域最具有挑戰性的技術問題，如何實時準確的識別車輛周圍的障礙物信息是汽車自動駕駛的前提。

目前，在計算機視覺領域，基于深度學習的目標檢測算法是主流的環境感知方法，其被定義為：通過深度學習模擬人類的視覺感知過程，對視覺傳感器所獲取的圖像進行處理，從輸入的圖像中，識別目標的位置及類別并對其進行標記。雖然深度學習算法可以獲得較高的識別準確率，但其識別速度遠不能滿足低成本要求下自動駕駛的實時性要求，而且在背景復雜的情況下，識別精確度也會明顯下降。其中，影響深度學習速度的一個重要因素是：在計算機對圖像進行感知時，會無差別遍歷圖像中的每一個區域，對其進行特征提取和分類識別；而人類在對眼睛獲取的圖像進行感知時，會把注意力集中在關鍵的物體或區域，而自動忽視一些無關區域，這顯著提高了圖像處理的速度，并且在注意力集中的區域，識別精確度也能夠得到相應提高。

基于上述分析，如果結合人類駕駛員的注意力特性，對基于深度學習的目標檢測算法進行優化，能夠有效提高算法速度，并改善注意力集中區域目標識別的精確度。一般而言，人類駕駛員在駕駛汽車時，注意力主要集中在一定距離之內的區域，而隨著距離的增加，人類所分配的注意力也逐漸減小；當車輛右轉時，注意力的主要集中在視野左側區域，對左側的車輛以及障礙物有更高的關注度，當車輛左轉時，注意力主要集中在視野的右側區域，這種有目的性的關注一些重點區域，放棄無關區域的方式，減少了人類在行車時的反應時間，且提高了行車安全性。

發明內容

為了解決上述的技術問題，本發明要提出一種兼顧精確度和實時性的融合視覺注意力機制的智能車輛環境感知方法。

為了實現上述目的，本發明的技術方案如下：一種融合視覺注意力機制的智能車輛環境感知方法，包括以下步驟：

A：圖像預處理，對雙目立體視覺系統輸出的RGB圖進行灰度化處理，生成灰度圖，利用V視差算法對視差圖進行處理，提取視差圖中的地面區域，并把超過車輛一定高度的區域設定為非感興趣區域，將視差圖中的地面和非感興趣區域濾除。

B：將處理后的視差圖和灰度圖輸入到權重共享的孿生卷積神經網絡中，提取灰度特征即G特征和深度特征即D特征。

C：利用歸一化算法對D特征和車輛轉角信號進行歸一化，生成與深度和車輛轉角有關的權重分布特征，即注意力分配權重W，其分配的規則為：視差值越大，代表距離越近，則權重越大，分配的注意力越大；視差值越小，代表距離越遠，則權重越小，分配的注意力越小；且當視差值小于閾值T時，則權重置為0。當車輛轉向傳感器獲得正轉向角時，即車輛向右轉向，D特征的特征圖左側分配較高權重，且車輛轉角越大，分配權重越高，右側分配較低的權重，且右側區域權重自左向右，逐漸降低；當轉向角為負時，即車輛向左轉向，D特征的特征圖右側分配較高的權重，且車輛轉角越大，分配權重越高，左側分配較低權重，且左側區域權重自右向左，逐漸降低。

生成注意力分配權重的過程，歸納成如下公式：