[發明專利]基于深度學習的特種車輛輔助駕駛方法、裝置及存儲介質

在審

• 申請號: 202010594755.4
• 申請日: 2020-06-28
• 公開（公告）號: CN111753741A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 楊明珠;李卓犖;劉相偉
• 申請（專利權）人: 北京小眼探索科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G01S15/931;B60Q9/00
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 胡大成

1.基于深度學習的特種車輛輔助駕駛方法，其特征在于，包括以下步驟：

步驟S1、通過可見光攝像頭和紅外熱像儀采集特種車輛四周的圖像信息；

步驟S2、構建基于深度學習的視覺輔助駕駛網絡；

步驟S3、將視覺輔助駕駛網絡移植到邊緣計算盒內，實現特種車輛的實時視覺感知處理，并在邊緣計算盒內設置報警單元，實現障礙物實時檢測與報警；

步驟S4、構建顯示和報警頁面，實現每個方向的障礙物實時報警和顯示。

2.根據權利要求1所述的基于深度學習的特種車輛輔助駕駛方法，其特征在于，所述的步驟S1包括：

通過特種車輛的前、后、左、右的可見光攝像頭采集連續幀RGB圖像；

通過特種車輛的前、后、左、右方的紅外熱像儀采集任何光線條件下的周圍環境的連續幀的IR圖像；

將采集到的RGB圖像和IR圖像以4輻圖像為一個批次送入到視覺輔助駕駛網絡中；

通過雷達發射超聲波，檢測車輛與后方障礙物的距離。

3.根據權利要求1所述的基于深度學習的特種車輛輔助駕駛方法，其特征在于，所述的步驟S2包括：

步驟S201、構建基于深度學習算法MobileNet-V2的神經網絡的物體識別模型；

步驟S202、構建基于深度學習算法SSD的神經網絡的物體檢測模型；

步驟S203、將物體檢測模型和物體識別模型結合，得到視覺輔助駕駛網絡。

4.根據權利要求3所述的基于深度學習的特種車輛輔助駕駛方法，其特征在于，所述的物體檢測模型包括線性瓶頸網絡和倒殘差網絡。

5.根據權利要求1所述的基于深度學習的特種車輛輔助駕駛方法，其特征在于，所述的步驟S3包括：

步驟S301、將視覺輔助駕駛網絡移植到邊緣計算盒中的數據處理單元，并在特種車輛的四周各安裝一個邊緣計算盒；

步驟S302、將每個方向的可見光攝像頭和紅外熱像儀采集到的圖像送入對應的邊緣計算盒的數據處理單元做計算，利用視覺輔助駕駛網絡進行檢測識別，并輸出檢測識別后的像素集合的結果到邊緣計算盒中的控制單元；

步驟S303、控制單元將原始圖像與檢測識別后的像素集合的結果通過時間戳進行信息匹配，得到添加了矩形框和物體標簽的圖像。

6.根據權利要求5所述的基于深度學習的特種車輛輔助駕駛方法，其特征在于，若步驟S302中識別并檢測到了障礙物，則控制單元中的報警模塊就會發出警報提示音進行實時報警。

7.基于深度學習的特種車輛輔助駕駛裝置，其特征在于，包括控制單元和數據處理單元，所述的控制單元上存儲有計算機指令，所述的數據處理單元運行該計算機指令并執行權利要求1至5任意一項所述的基于深度學習的特種車輛輔助駕駛方法。

8.存儲介質，其特征在于，所述存儲介質上存有計算機可執行指令，當所述計算機可執行指令被運行時，執行權利要求1至5任意一項所述的基于深度學習的特種車輛輔助駕駛方法。