[發明專利]一種基于車道結構先驗的車道線檢測方法及系統

有效

• 申請號: 202110654503.0
• 申請日: 2021-06-11
• 公開（公告）號: CN113313047B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 凌強;劉彬輝
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡

1.一種基于車道結構先驗的車道線檢測方法，其特征在于，包括：

步驟S1：根據車載前視攝像頭得到的前視交通圖像，進行數據歸一化處理，得到車道線圖像；

步驟S2：將所述車道線圖像經過編碼-解碼網絡進行特征提取，得到車道線特征圖；將所述車道線特征圖進行上采樣，得到與所述車道線圖像大小相同的前向車道權值圖，并通過計算權重的期望值，得到每條所述車道線的逐行關鍵點坐標；根據所述關鍵點坐標，并以所述關鍵點為起止點，分別構建每條所述車道線的向量集，基于所述向量集的結構約束構建車道線關鍵點約束損失函數；對所述前向車道權值圖進行透視變換，得到俯視車道權值圖；基于所述俯視車道權值圖，根據所述關鍵點約束損失函數構建平行結構約束損失函數，以使得最終車道線滿足相互平行以及連續的結構先驗，具體包括：

S21：將所述車道線圖像經過編碼-解碼網絡進行特征提取，得到車道線特征圖；將所述車道線特征圖經過上采樣，得到與所述車道線圖像大小相同的前向車道權值圖；

S22：構建所述車道線關鍵點約束損失函數如下述公式(1)～(2)，對前向權值圖在預設行計算位置期望，得到分布在特定行上的關鍵點點集，并以所述關鍵點點集中任意兩點作為向量的起始點和終點，構建向量集V；

L_k＝L_o+βL_s (1)

其中，a,b∈V,V為起點和終點均為所述關鍵點的所有向量組成的向量集；β為系數；L_o為原始車道線損失函數，L_s為新引入的結構約束，L_k為新構建的損失函數；

S23：根據下述公式(3)～(5)對所述前向車道權值圖進行透視變換處理，得到俯視車道權值圖；

其中，(u,v)是所述前向車道權值圖的像素坐標，(x′,y′)是透視變換后的俯視車道權值圖的像素坐標，a_ij為矩陣系數；

S24：基于所述俯視車道權值圖，構建平行結構約束損失函數如下述公式(6)：

L_f＝L_k+αL_p (6)

其中，L_k為引入關鍵點約束后的損失函數；L_p表示了不同車道曲線在平移到同一坐標原點后，在兩條車道線共同存在的區域；α為系數；L_f表示引入平行結構約束后最終的損失函數；

步驟S3：將所述關鍵點坐標與所述俯視車道權值圖進行連接，得到三元圖像；其中，所述三元圖像的每一個像素點包含其位置坐標以及相應的權值；

步驟S4：將所述三元圖像進行最小二次擬合，并根據預先定義的車道線個數，得到所述車道線曲線參數。

2.根據權利要求1所述的基于車道結構先驗的車道線檢測方法，其特征在于，所述步驟S4中將所述三元圖像進行最小二次擬合，具體包括：

構建車道曲線擬合的線性方程組，如公式(7)所示：

Xβ＝Y (7)

其中，X∈R^mxn，β∈R^nx1，Y∈R^mx1，可推導出公式(8)：

其中，mn，n-1為待擬合曲線最高次數，m為用于曲線擬合的點對(x_i,y_i)的個數，也即方程個數；β即為待求各階次參數項前的系數值；

根據公式(9)確定一個近似解β：

根據公式(10)對X的偽逆進行求解：

β＝(X^TX)X^TY (10)

公式(10)可以視為是權重矩陣為1的加權最小二次擬合；

當考慮一個對角權重矩陣W,則對公式(10)兩邊同時進行加權，則可以得到公式(11)；

WXβ＝WY (11)

其中，

令X′＝WX，Y′＝WY，對公式(11)進行簡化，得到公式(12)：

X′β＝Y′ (12)。

3.一種基于車道結構先驗的車道線檢測系統，其特征在于，包括下述模塊：

獲取車道線圖像模塊，用于根據車載前視攝像頭得到的前視交通圖像，進行數據歸一化處理，得到車道線圖像；

獲取車道權值圖模塊，將所述車道線圖像經過編碼-解碼網絡進行特征提取，得到車道線特征圖；將所述車道線特征圖進行上采樣，得到與所述車道線圖像大小相同的前向車道權值圖，并通過計算權重的期望值，得到每條所述車道線的逐行關鍵點坐標；根據所述關鍵點坐標，并以所述關鍵點為起止點，分別構建每條所述車道線的向量集，基于所述向量集的結構約束構建車道線關鍵點約束損失函數；對所述前向車道權值圖進行透視變換，得到俯視車道權值圖；基于所述俯視車道權值圖，根據所述關鍵點約束損失函數構建平行結構約束損失函數，以使得最終車道線滿足相互平行以及連續的結構先驗，具體包括：

S21：將所述車道線圖像經過編碼-解碼網絡進行特征提取，得到車道線特征圖；將所述車道線特征圖經過上采樣，得到與所述車道線圖像大小相同的前向車道權值圖；

S22：構建所述車道線關鍵點約束損失函數如下述公式(1)～(2)，對前向權值圖在預設行計算位置期望，得到分布在特定行上的關鍵點點集，并以所述關鍵點點集中任意兩點作為向量的起始點和終點，構建向量集V；

L_k＝L_o+βL_s (1)

其中，a,b∈V,V為起點和終點均為所述關鍵點的所有向量組成的向量集；β為系數；L_o為原始車道線損失函數，L_s為新引入的結構約束，L_k為新構建的損失函數；

S23：根據下述公式(3)～(5)對所述前向車道權值圖進行透視變換處理，得到俯視車道權值圖；

其中，(u,v)是所述前向車道權值圖的像素坐標，(x′,y′)是透視變換后的俯視車道權值圖的像素坐標，a_ij為矩陣系數；

S24：基于所述俯視車道權值圖，構建平行結構約束損失函數如下述公式(6)：

L_f＝L_k+αL_p (6)

其中，L_k為引入關鍵點約束后的損失函數；L_p表示了不同車道曲線在平移到同一坐標原點后，在兩條車道線共同存在的區域；α為系數；L_f表示引入平行結構約束后最終的損失函數；

獲取三元圖像模塊，用于將所述關鍵點坐標與所述俯視車道權值圖進行連接，得到三元圖像；其中，所述三元圖像的每一個像素點包含其位置坐標以及相應的權值；

獲取車道線曲線參數模塊，用于將所述三元圖像進行最小二次擬合，并根據預先定義的車道線個數，得到所述車道線曲線參數。