[發明專利]采用注意力機制學習上下文信息的實時車道線檢測方法及系統

有效

• 申請號: 202011193555.4
• 申請日: 2020-10-30
• 公開（公告）號: CN112241728B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 孔斌;張露;楊靜;王燦
• 申請（專利權）人: 中國科學院合肥物質科學研究院
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/762;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 張景云

1.采用注意力機制學習上下文信息的實時車道線檢測方法，其特征在于：包括以下步驟：

S01.編碼過程，將原圖片輸入卷積神經網絡，卷積神經網絡的第一層對原圖片進行卷積操作，得到第一個特征圖；然后將第一個特征輸入注意力模型，注意力模型輸出第二個特征圖，將第一個特征圖和第二個特征圖融合輸出第三個特征圖，將第三個特征圖作為卷積神經網絡下一層的輸入，執行與上一層同樣的操作，依次類推，直至最后一層，輸出第三個特征圖；

S02.解碼過程，將最后一層輸出的第三個特征圖分成二值化分支和可嵌入分支；針對二值化分支，將編碼過程的提取的最后一層輸出的第三個特征圖首先進行一次上采樣操作，將得到的特征圖和上一層輸出的第三個特征圖1×1的卷積操作后的特征進行concat操作，將得出的結果作為下一層的輸入，然后執行與上一層相同的操作，以此類推，直至將編碼階段第1層提取的第三個特征圖和上采樣結果進行融合后，進行一次3×3卷積操作，即得到二值化分支的特征圖；針對可嵌入分支，采用與二值化分支相同的方法，直至編碼階段第一層提取的第三個特征圖和上采樣結果進行融合后，再進行一次上采樣操作，即得到可嵌入分支的特征圖；然后將二值化分支的特征與可嵌入分支的特征圖的元素相乘，得到屬于車道線的像素位置；

S03.將所述像素位置聚類到不同的車道上，從而得到屬于特定車道的車道點。

2.根據權利要求1所述的采用注意力機制學習上下文信息的實時車道線檢測方法，其特征在于：所述步驟S01中，采用CBAM作為注意力模型，第一個特征圖輸入注意力模型后，先采用公式(1)計算出通道注意力特征圖，

然后將通道注意力特征圖與第一個特征圖相乘得到中間特征圖，再利用公式(2)計算出空間注意力特征圖，

最后將空間注意力特征圖和中間特征圖相乘得到第三個特征圖；

其中，f代表特征圖，AP代表平均池化層，MP代表最大池化層，w1和w0代表權重信息，公式(2)中符號；表示concat操作，σ表示sigmoid函數。

3.根據權利要求1所述的采用注意力機制學習上下文信息的實時車道線檢測方法，其特征在于：所述步驟S02中，采用加權交叉熵損失函數訓練二值分隔網絡，公式如下：

其中，L_b表示損失函數，N表示像素的數目，y_i表示像素i的類別0或者1，0表示像素類別為背景，1表示像素類別為車道線，p_i表示像素i的類別的預測概率，wi表示像素i的權重信息。

4.根據權利要求1所述的采用注意力機制學習上下文信息的實時車道線檢測方法，其特征在于：采用方差損失函數L_v和距離損失函數L_d相結合的方式進行訓練可嵌入分割網絡：

其中M為車道線的數目，N_i為類別屬于車道線i的像素的數目，μ_i為類別屬于車道線i的所有像素平均值，p_j為類別屬于車道線i的像素j的值，μM_i為類別屬于車道線M_i的所有像素平均值，μM_j為類別屬于車道線M_j的所有像素平均值；

方差損失函數L_v和距離損失函數L_d的具體結合過程為：通過定義兩個損失的權重系數a1和a2，分別和求出的方差損失和距離損失進行相乘，同時為了保證每個實例的中心和原點的距離接近，增加一個正則項進行約束α，最后的損失函數為

L＝a1×Lv+a2×Ld+α。

5.根據權利要求4所述的采用注意力機制學習上下文信息的實時車道線檢測方法，其特征在于：所述步驟S03中，在聚類之后，還通過多項式擬合進行驗證聚類效果；所述多項式擬合采用二次多項式擬合。