[發明專利]基于深度學習的特種車輛輔助駕駛方法、裝置及存儲介質

在審

• 申請號: 202010594755.4
• 申請日: 2020-06-28
• 公開（公告）號: CN111753741A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 楊明珠;李卓犖;劉相偉
• 申請（專利權）人: 北京小眼探索科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G01S15/931;B60Q9/00
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 胡大成

本發明提供一種基于深度學習的特種車輛輔助駕駛方法、裝置及存儲介質。通過可見光攝像頭和紅外熱像儀采集特種車輛四周的圖像信息；構建基于深度學習的視覺輔助駕駛網絡，實現特種車輛的實時視覺感知處理，并在邊緣計算盒內設置報警單元，實現障礙物實時檢測與報警；構建顯示和報警頁面，實現每個方向的障礙物實時報警和顯示。本發明采用長波紅外熱像儀和可見光攝像頭進行道路信息采集，長波紅外具有穿透力強，且受天氣影響小的特點，完全滿足特種車輛在任意環境條件下的行駛需求。加入深度學習算法，可以實現物體的精準檢測與識別，并且做出實時預警，可以為駕駛員提供更多的參考資料，從而提高特種車輛的駕駛安全性。

技術領域

本發明涉及特種車輛視覺輔助駕駛領域，特別是涉及一種基于深度學習的特種車輛輔助駕駛方法、裝置及存儲介質。

背景技術

輔助駕駛在民用車輛中的應用和創新更多，軍用的特種車輛改裝方法少。特種車輛需要遠距離的障礙物檢測，而且還需要在極端環境中實現輔助駕駛功能。例如：在夜晚，沒有照明的空曠地帶行駛，很容易發生撞擊野生動物等事件，或者在暴雨、霧霾等極端天氣下駕駛，人眼和可見光攝像頭并不能夠得到應用的情況下，很難確保安全性。

因此，如何提高特種車輛的駕駛安全性是本領域技術人員目前需要解決的一項技術問題。

發明內容

本發明的目的是提供一種基于深度學習的特種車輛輔助駕駛方法、裝置及存儲介質，能提高特種車輛的駕駛安全性。

本發明的目的是通過以下技術方案實現的：

第一方面，本發明提供一種基于深度學習的特種車輛輔助駕駛方法，包括以下步驟：

步驟S1、通過可見光攝像頭和紅外熱像儀采集特種車輛四周的圖像信息；

步驟S2、構建基于深度學習的視覺輔助駕駛網絡；

步驟S3、將視覺輔助駕駛網絡移植到邊緣計算盒內，實現特種車輛的實時視覺感知處理，并在邊緣計算盒內設置報警單元，實現障礙物實時檢測與報警；

步驟S4、構建顯示和報警頁面，實現每個方向的障礙物實時報警和顯示。

進一步的，所述的步驟S1包括：

通過特種車輛的前、后、左、右的可見光攝像頭采集連續幀RGB圖像；

通過特種車輛的前、后、左、右方的紅外熱像儀采集任何光線條件下的周圍環境的連續幀的IR圖像；

將采集到的RGB圖像和IR圖像以4輻圖像為一個批次送入到視覺輔助駕駛網絡中；

通過雷達發射超聲波，檢測車輛與后方障礙物的距離。

進一步的，所述的步驟S2包括：

步驟S201、構建基于深度學習算法Mobi leNet-V2的神經網絡的物體識別模型；

步驟S202、構建基于深度學習算法SSD的神經網絡的物體檢測模型；

步驟S203、將物體檢測模型和物體識別模型結合，得到視覺輔助駕駛網絡。

進一步的，所述的物體檢測模型包括線性瓶頸網絡和倒殘差網絡。

進一步的，所述的步驟S3包括：

步驟S301、將視覺輔助駕駛網絡移植到邊緣計算盒中的數據處理單元，并在特種車輛的四周各安裝一個邊緣計算盒；

步驟S302、將每個方向的可見光攝像頭和紅外熱像儀采集到的圖像送入對應的邊緣計算盒的數據處理單元做計算，利用視覺輔助駕駛網絡進行檢測識別，并輸出檢測識別后的像素集合的結果到邊緣計算盒中的控制單元；