[發明專利]一種基于關鍵點與梯度均衡損失的全局車道線檢測方法

有效

• 申請號: 202010239803.8
• 申請日: 2020-03-30
• 公開（公告）號: CN111460984B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 李巍華;黎銘浩
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V20/58;G06V10/82;G06V10/764;G06V10/766;G06N3/0464;G06N3/084;G06N3/0985
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種基于關鍵點與梯度均衡損失的全局車道線檢測方法，包括步驟：S1、圖像的采集、預處理和車道線標注，構成多駕駛場景下的車道線數據集；S2、設計一組關鍵點全局表征車道線，采用樣條插值算法得到細化的關鍵點序列標簽；S3、構建車道線關鍵點檢測模型，采用梯度均衡損失函數優化模型訓練；S4、實車檢測中模型輸入圖像幀并輸出車道線分類概率圖和關鍵點回歸向量圖，通過關鍵點匹配組合與非極大值抑制的后處理，得到最終的車道線檢測結果。本發明采用全卷積的深度學習方法，通過特征關鍵點檢測與梯度均衡訓練，能夠適應大范圍復雜駕駛場景下的車道線檢測，具有較高的魯棒性、實時性和定位精度。

技術領域

本發明屬于計算機視覺和車輛智能駕駛領域，更具體地，涉及一種基于關鍵點與梯度均衡損失的全局車道線檢測方法。

背景技術

車道線檢測是車輛智能駕駛領域的基本任務和關鍵技術之一。只有讓車輛感知判別到其在車道中的位置，為后續的路徑規劃與決策控制提供穩定可靠的數據來源，才能實現車道偏離報警、車道保持、車輛自主導航等智能駕駛技術。在實際應用中，車道線檢測要求具有較高的算法魯棒性與實時性。在外觀上，車道線具有實/虛線、黃/白線等形態，并且經常出現不同程度的模糊和破損。在駕駛條件上，車輛需要適應各種復雜環境，諸如高速路/城市/鄉村的道路場景、白天/夜晚的光照條件、晴/陰/雨天的天氣條件、以及遮擋/陰影/強光等其它因素，都會給車道線的準確檢測帶來極大的挑戰與困難。

基于視覺的車道線檢測方法是主要的研究方向。傳統方法大多采用人工設計的濾波算子提取車道線邊緣特征，再通過聚類算法得到不同的車道線實例。這類方法依賴強先驗知識與幾何假設，魯棒性較差，一般只適用于特定的簡單道路場景。近年來，許多研究者采用卷積神經網絡代替傳統人工算子提取車道線特征，實現車道線檢測。相比于傳統方法，卷積神經網絡以強大的特征提取能力賦予了車道線檢測較強的魯棒性與泛化能力，更能適應大范圍復雜路況。

然而，基于卷積神經網絡的方法主要采用邊界框檢測和圖像語義分割實現車道線定位，仍存在一定局限性：1)車道線是細長線型目標，邊界框定位會引入大量的干擾信息，降低檢測精度；2)像素級檢測網絡計算量較大，實時性能較差，且聚類后處理忽略了車道線全局信息，容易發生誤檢；3)車道線全局檢測往往容易丟失目標局部細節，定位精度不高。

發明內容

為解決上述技術問題，本發明以復雜駕駛場景下的車道線檢測作為研究目標，綜合考慮車道線檢測的準確性與實時性，提供一種基于關鍵點與梯度均衡損失的全局車道線檢測方法，旨在能夠更魯棒、精確、實時地檢測出大范圍實際駕駛路況中的車道線，從而在智能駕駛中更好地引導車輛行駛。

本發明的目的通過以下的技術方案和方法來實現：

一種基于關鍵點與梯度均衡損失的全局車道線檢測方法，包括以下步驟：

S1、開啟智能車輛上的前視攝像頭，對行車道路環境進行圖像的采集、預處理和車道線標注，構成多種駕駛場景下的訓練集、測試集和驗證集；

S2、設計一組縱向均勻排列的關鍵點全局表征車道線，對所述車道線注釋進行樣條插值，得到細化的關鍵點序列標簽；

S3、構建車道線關鍵點檢測模型，將所述訓練集輸入車道線關鍵點檢測模型進行前向預測，采用梯度均衡損失函數進行反向傳播與迭代訓練，并保存訓練好的權重文件，所述車道線關鍵點檢測模型為多任務卷積神經網絡模型；

S4、采用訓練好的車道線關鍵點檢測模型進行實車車道線檢測，在車道線關鍵點檢測模型中輸入尺寸固定的實時道路圖像幀，輸出車道線分類概率圖和關鍵點回歸向量圖，通過關鍵點匹配組合和非極大值抑制的后處理，得到最終的車道線檢測結果。

進一步地，步驟S1中具體包括：

S11、開啟智能車輛上的前視攝像頭，實時采集行車環境中的道路圖像；