[發明專利]采用注意力機制學習上下文信息的實時車道線檢測方法及系統

有效

• 申請號: 202011193555.4
• 申請日: 2020-10-30
• 公開（公告）號: CN112241728B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 孔斌;張露;楊靜;王燦
• 申請（專利權）人: 中國科學院合肥物質科學研究院
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/762;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 張景云

本發明提供一種采用注意力機制學習上下文信息的實時車道線檢測方法及系統，采用編碼?解碼結構，在編碼過程中，設計了一個融合模塊，通過建立特征提取網絡的每一卷積層與注意力機制之間的相關性來學習上下文信息。然后，在解碼過程中，在兩個分支同步融合，可以更好將特征提取網絡的細節特征以及上下文信息補充到上采樣的操作中。來補償丟失的細節信息，并在車道上生成精確的點。實現了利用注意力機制學習上下文信息的實時車道線檢測算法，有效提升了算法的精度，且每張圖像的處理時間僅為10ms。因此，更適合于智能駕駛場景下的車道線檢測。

技術領域

本發明涉及智能汽車行駛安全技術領域，具體來說是一種采用注意力機制學習上下文信息的實時車道線檢測方法及系統。

背景技術

在智能汽車的環境感知中，車道線檢測是一個基本功能模塊，是車輛按照交通法規正確行駛的前提，正確的車道線檢測能夠使智能汽車對自己的位置與狀態有進一步的決策與判斷，車輛控制系統基于這種決策改變自身的位置，保證車輛以安全的狀態行駛。目前針對車道線的檢測算法主要分為兩類，分別為基于傳統視覺的車道線檢測算法和基于神經網絡的車道線檢測算法。基于傳統視覺的車道線檢測算法通過提取車道線的固有特征，比如顏色、紋理以及邊緣信息等。之后，利用透視變換將圖像轉為鳥瞰圖。最后，采用霍夫變換檢測車道線。基于深度學習的車道線檢測算法通過對大量的樣本進行訓練并自主學習特征，在光照變化、陰影、夜間、彎道等復雜駕駛環境皆具有較強的魯棒性。大多數車道線檢測算法采用end-to-end的方式將任務分成兩個模塊，一個是車道定位模塊，另一個是后處理模塊。車道定位模塊輸出圖像中像素的類別(背景或車道線)，并沒有考慮到像素之間的依賴關系或結構。因此，需要采用后處理模塊過濾出錯誤檢測，并采用聚類算法對定位出來的車道線進行聚類，形成最終車道。

現有的基于深度學習的車道線檢測算法受制于訓練標簽的影響，只能檢測到固定數目的車道線。由于行車中的并道等操作，車道線的數目是時刻在變換的。其次，網絡中的池化操作會降低特征的分辨率，導致特征所攜帶的信息丟失。

如申請號為202010398306.2公開的一種基于幾何注意力感知的車道線檢測系統，包括主干網絡，設于主干網絡之后的語義分割分支和幾何距離嵌入分支，作用于解碼器相鄰兩個階段上采樣層之間即設在整個車道線語義分割分支和幾何距離嵌入分支之間的注意力信息傳播模塊，設于語義分割分支和幾何距離嵌入分支末端的幾何注意力感知模塊，以及與主干網絡和幾何注意力感知模塊連接的跳躍金字塔融合上采樣模塊。該系統采用多任務分支網絡結構，除了車道線分割任務以外還增加了幾何距離嵌入分支，該分支通過學習車道線中心到邊界的連續距離表示去指導車道線分割，從而改善由于高度依賴稀疏車道線標注而無法從復雜道路場景下有效檢測車道線的問題。雖然該系統能夠一定程度上解決復雜道路場景下的車道線檢測問題，但是由于其采用的是語義信息進行輔助分類，且只采用一個分支的幾何信息融合了一次，且將注意力機制放在兩個分支之間。該方法無法將卷積層特征和注意力機制聯系起來，且未在兩個分支同步融合，導致對于特征提取網絡的細節特征及上下文信息補充不全面。

發明內容

本發明所要解決的技術問題在于如何提供一種適用復雜場景下的車道線檢測方法。

本發明通過以下技術手段實現解決上述技術問題的：

采用注意力機制學習上下文信息的實時車道線檢測方法，包括以下步驟：

S01.編碼過程，將原圖片輸入卷積神經網絡，卷積神經網絡的第一層對原圖片進行卷積操作，得到第一特征圖；然后將第一特征輸入注意力模型，注意力模型輸出第二特征圖，將第一特征圖和第二特征圖融合輸出第三特征圖，將第三特征圖作為卷積神經網絡下一層的輸入，執行與上一層同樣的操作，依次類推，直至最后一層，輸出第四特征圖；