[發(fā)明專利]聯(lián)合行道線幾何先驗的高速公路霧天能見度檢測方法

有效

• 申請?zhí)枺?/td>: 202210508579.7
• 申請日: 2022-05-11
• 公開（公告）號: CN114627382B
• 公開（公告）日: 2022-07-22
• 發(fā)明（設計）人: 孫玉寶;唐繼輝;劉青山;閆宏艷
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/52;G06V20/58;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 羅運紅

1.一種聯(lián)合行道線幾何先驗的高速公路霧天能見度檢測方法，其特征在于，所述方法包括：

實時獲取高速公路上的攝像頭拍攝的高速公路霧天情況的圖像數(shù)據(jù)；

將所述高速公路霧天情況的圖像數(shù)據(jù)輸入到訓練好的雙分支分類網(wǎng)絡模型的行道線檢測分支和深度神經(jīng)網(wǎng)絡視覺特征提取分支，對應輸出行道線檢測標簽和道路區(qū)域的視覺特征；

所述訓練好的雙分支分類網(wǎng)絡模型的融合分類模塊根據(jù)所述行道線檢測標簽計算高速公路可見區(qū)域的長度特征，并融合所述道路區(qū)域的視覺特征進行分類，確定所述攝像頭拍攝的高速公路對應的霧天能見度等級；

所述雙分支分類網(wǎng)絡模型的訓練方式為：

獲取不同時段、不同角度攝像頭下的高速公路霧天情況監(jiān)控圖像集；

根據(jù)能見度距離將所述高速公路霧天情況監(jiān)控圖像集中的圖像數(shù)據(jù)分為4個能見度等級，并將每個能見度等級中的圖像數(shù)據(jù)按照預設比例劃分出訓練集和測試集；

構建結合行道線檢測算法的雙分支分類網(wǎng)絡模型，所述雙分支分類網(wǎng)絡模型包括行道線檢測分支、深度神經(jīng)網(wǎng)絡視覺特征提取分支以及融合分類模塊；

采用損失函數(shù)優(yōu)化所述雙分支分類網(wǎng)絡模型；

預設所述雙分支網(wǎng)絡模型的訓練超參數(shù)，并導入行道線檢測分支預先訓練好的權重參數(shù)；

將所述訓練集中的圖像數(shù)據(jù)輸入所述雙分支分類網(wǎng)絡模型中，根據(jù)損失函數(shù)，采用Adam優(yōu)化器實現(xiàn)所述深度神經(jīng)網(wǎng)絡視覺特征提取分支的權重參數(shù)的迭代優(yōu)化與更新，直至雙分支分類網(wǎng)絡模型收斂，獲得初步雙分支分類網(wǎng)絡模型；

將所述測試集中的圖像數(shù)據(jù)輸入所述初步雙分支分類網(wǎng)絡模型中進行測試，確定所述初步雙分支分類網(wǎng)絡模型的精度，當精度達到預設值時，獲得訓練好的雙分支分類網(wǎng)絡模型。

2.根據(jù)權利要求1所述的聯(lián)合行道線幾何先驗的高速公路霧天能見度檢測方法，其特征在于，所述行道線檢測分支包括resnet18、第一全連接層和第二全連接層；

圖像數(shù)據(jù)輸入resnet18進行行道線深度視覺特征提取，獲得行道線深度視覺特征；

所述行道線深度視覺特征經(jīng)第一全連接層和第二全連接層進行檢測，輸出行道線檢測標簽。

3.根據(jù)權利要求2所述的聯(lián)合行道線幾何先驗的高速公路霧天能見度檢測方法，其特征在于，所述深度神經(jīng)網(wǎng)絡視覺特征提取分支包括殘差塊、金字塔池化模塊和路面區(qū)域注意力模塊；

所述圖像數(shù)據(jù)輸入殘差塊、金字塔池化模塊輸出霧天圖像的深度視覺特征；

所述霧天圖像的深度視覺特征和所述行道線深度視覺特征輸入所述路面區(qū)域注意力模塊突出道路區(qū)域，獲得道路區(qū)域的視覺特征。

4.根據(jù)權利要求3所述的聯(lián)合行道線幾何先驗的高速公路霧天能見度檢測方法，其特征在于，所述路面區(qū)域注意力模塊包括第一卷積層、ReLU層、第二卷積層和第三卷積層；

將所述霧天圖像的深度視覺特征和所述行道線深度視覺特征在通道維度進行concatenate操作后，依次通過所述第一卷積層、所述ReLU層、所述第二卷積層和Sigmoid進行卷積操作，得到空間注意力圖；

將所述霧天圖像的深度視覺特征輸入所述第三卷積層進行卷積，獲得非線性視覺特征圖；

將所述空間注意力圖與所述非線性視覺特征圖相乘進行特征的自適應學習后，與非線性視覺特征圖進行像素求和，得到道路區(qū)域的深度視覺特征。

5.根據(jù)權利要求1所述的聯(lián)合行道線幾何先驗的高速公路霧天能見度檢測方法，其特征在于，所述融合分類模塊包括第三全連接層、第四全連接層和第五全連接層：

對所述行道線檢測標簽進行切片去除非行道線標簽得到128×28×4大小的第一特征向量；

將所述第一特征向量在通道范圍上求和，得到28×4大小的第二特征向量；

將所述第二特征向量輸入所述第三全連接層進行長度計算，得到4條行道線的長度特征向量，所述長度特征向量大小為1×4；

所述道路區(qū)域的視覺特征輸入所述第四全連接層后，與所述長度特征向量進行concatenate操作，再經(jīng)過所述第四全連接層輸出所述圖像數(shù)據(jù)中的高速公路對應的霧天能見度等級。