[發明專利]一種基于單目攝像頭和樹莓派的自動駕駛系統及方法

在審

• 申請號: 201910303324.5
• 申請日: 2019-04-16
• 公開（公告）號: CN109901595A
• 公開（公告）日: 2019-06-18
• 發明（設計）人: 戴鴻君;張繼剛;鞠雷;許信順
• 申請（專利權）人: 山東大學
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06N3/04;G06N3/08
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 許德山

1.一種基于單目攝像頭和樹莓派的自動駕駛系統，其特征在于，包括依次連接的數據收集單元、數據預處理單元、深度卷積神經網絡、控制單元；

所述數據收集單元用于獲取模型車運行時的路況信息，路況信息是指路況圖片，并將獲取的路況信息發送至數據預處理單元；所述數據預處理單元用于對接收到的路況圖片進行預處理，是指依次進行灰度化、降噪、二值化、字符切分和歸一化處理；所述深度卷積神經網絡在訓練中用于訓練預處理后的多張路況圖片組成的數據集，得到成熟的深度卷積神經網絡，在模型車運行過程中，輸入上述預處理后的多張路況圖片，得到模型車的控制信息，模型車的控制信息包括轉向方向、轉向角度、油門大小；所述控制單元將模型車的控制信息傳遞給模型車，完成模型車自動駕駛。

2.根據權利要求1所述的一種基于單目攝像頭和樹莓派的自動駕駛系統，其特征在于，所述數據收集單元是指設置有單目攝像頭和樹莓派的4WD智能模型車，單目攝像頭用于拍攝獲取路況圖片。

3.根據權利要求1所述的一種基于單目攝像頭和樹莓派的自動駕駛系統，其特征在于，所述深度卷積神經網絡依次包括一層圖像歸一化層、四層5x5的卷積層、兩層3x3的卷積層和四層全連接層；

輸入路況圖片后，首先，經過第一層圖像歸一化層進行圖像預處理，然后，經過四層的5x5卷積層和兩層的3x3卷積層后，圖片變成高維度特征圖，通過6層的卷積，完成了對路況圖片的特征提取，即提取圖像中的局部特征比，最后，經過四層的全連接層，輸出最后的偏轉比例，偏轉比例是預測模型車接下來要偏離的角度除以90度所得到的值，該值正數代表向左轉，負數代表向右轉，大小代表偏離目前行駛方向的角度大小除以90度，全連接層相當于將卷積提取的特征進行總結，并預測出接下來的轉向角度。

4.根據權利要求1所述的一種基于單目攝像頭和樹莓派的自動駕駛系統，其特征在于，獲取的路況信息通過opencv以字節流的格式傳遞到所述數據預處理單元。

5.根據權利要求1所述的一種基于單目攝像頭和樹莓派的自動駕駛系統，其特征在于，通過python編寫接口，將模型車的控制信息傳遞給模型車的硬件接口，完成模型車的控制信息的傳遞。

6.一種基于單目攝像頭和樹莓派的自動駕駛方法，用于實現模型車在模型車道上自動駕駛，其特征在于，包括步驟如下：

(1)收集數據集；數據集包括大量路況圖片；

(2)數據集預處理；

(3)使用步驟(2)預處理后的數據集訓練深度卷積神經網絡，經過訓練得到成熟的深度卷積神經網絡；成熟的深度卷積神經網絡輸入拍攝的路況圖片，輸出模型車的控制信息，模型車的控制信息包括轉向方向、轉向角度、油門大小；

(4)使用步驟(3)訓練得到的成熟的深度卷積神經網絡，使模型車在模型車道上進行自動駕駛。

7.根據權利要求6所述的一種基于單目攝像頭和樹莓派的自動駕駛方法，其特征在于，所述步驟(1)，收集數據集，是指：設置有單目攝像頭和樹莓派的4WD智能模型車實時拍攝路況，得到大量路況圖片。

8.根據權利要求7所述的一種基于單目攝像頭和樹莓派的自動駕駛方法，其特征在于，所述步驟(2)，數據預處理，包括：

A、在獲取路況圖片時，實時記錄此時模型車的速度、油門大小、轉向方向、轉向角度，標注每張路況圖片的名稱、存放位置、油門大小、速度、轉向角度和轉向方向作為一個記錄，將所有記錄放在同一個.csv文件中；

B、對步驟A處理后的路況圖片依次進行灰度化、降噪、二值化、字符切分以及歸一化處理。

9.根據權利要求7或8所述的一種基于單目攝像頭和樹莓派的自動駕駛方法，其特征在于，所述步驟(4)，使用步驟(3)訓練得到的成熟的深度卷積神經網絡，使模型車在模型車道上進行自動駕駛，是指：

C、模型車運行過程中將單目攝像頭拍攝的路況圖片傳入成熟的深度卷積神經網絡；

D、成熟的深度卷積神經網絡完成推斷過程，輸出偏轉比例，偏轉比例是預測模型車接下來要偏離的角度除以90度所得到的值，該值正數代表向左轉，負數代表向右轉，大小代表偏離目前行駛方向的角度大小除以90度；

E、得到偏轉比例后，經過計算獲得油門大小；計算公式為：a＝1.0-t^2-(v1÷v2)^2，a是指油門大小，t是指偏轉比例，v1是指速度，v2是指限制速度，當模型車當前速度v1大于允許的最大速度時，限制速度v2為允許的最小速度，否則，限制速度v2為允許的最大速度；

F、將獲得的油門大小和偏轉比例傳遞給樹莓派模型車，進而控制模型車的轉向和加速減速，將得到的油門大小和偏向角度，通過python代碼傳遞到樹莓派模型車的硬件接口，該硬件接口得到油門大小和偏向角度后，調節模型車的速度和方向，實現模型車自動駕駛。