[發明專利]一種融合視覺注意力機制的智能車輛環境感知方法

有效

• 申請號: 201911412860.5
• 申請日: 2019-12-31
• 公開（公告）號: CN111126338B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 連靜;王政皓;李琳輝;周雅夫;尹昱航;李磊
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/25;G06V10/40;B60W40/00;G06N3/04
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李洪福

1.一種融合視覺注意力機制的智能車輛環境感知方法，其特征在于：包括以下步驟：

A：圖像預處理，對雙目立體視覺系統輸出的RGB圖進行灰度化處理，生成灰度圖，利用V視差算法對視差圖進行處理，提取視差圖中的地面區域，并把超過車輛一定高度的區域設定為非感興趣區域，將視差圖中的地面和非感興趣區域濾除；

B：將處理后的視差圖和灰度圖輸入到權重共享的孿生卷積神經網絡中，提取灰度特征即G特征和深度特征即D特征；

C：利用歸一化算法對D特征和車輛轉角信號進行歸一化，生成與深度和車輛轉角有關的權重分布特征，即注意力分配權重W，其分配的規則為：視差值越大，代表距離越近，則權重越大，分配的注意力越大；視差值越小，代表距離越遠，則權重越小，分配的注意力越小；且當視差值小于閾值T時，則權重置為0；當車輛轉向傳感器獲得正轉向角時，即車輛向右轉向，D特征的特征圖左側分配較高權重，且車輛轉角越大，分配權重越高，右側分配較低的權重，且右側區域權重自左向右，逐漸降低；當轉向角為負時，即車輛向左轉向，D特征的特征圖右側分配較高的權重，且車輛轉角越大，分配權重越高，左側分配較低權重，且左側區域權重自右向左，逐漸降低；

生成注意力分配權重的過程，歸納成如下公式：

式中，D_i,j為第i行第j列所對應像素點的視差值；D_max和D_min分別為視差圖上最大視差值和最小視差值；θ為車輛轉角；H為圖像的寬度；

D：基于步驟B和C所生成的灰度特征和注意力分配權重W采用Hadamard乘積方式進行融合，對灰度特征進行加權，生成具有視覺注意力分配的特征，即視覺注意力特征A；通過Hadamard乘積融合，注意力分配權重圖上權重為0的像素所對應的視覺注意力特征圖上的像素值也為0，權重為0的特征為無關特征；視覺注意力特征A融合的公式如下：

A＝W⊙G

式中，⊙為Hadamard乘積運算符；

E：將視覺注意力特征A輸入到稀疏壓縮模塊，稀疏壓縮模塊將輸入的特征圖中稀疏度較低的行或列濾除，減小無關特征的比重；將壓縮后的視覺注意力特征A輸入到回歸預測網絡中進行回歸預測，得到目標的位置以及類別。