[發明專利]一種基于深度強化學習的自動尋路方法及尋路小車設備

在審

• 申請號: 202010577779.9
• 申請日: 2020-06-23
• 公開（公告）號: CN111881742A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 毛震;耿霞;楊治;陸虎
• 申請（專利權）人: 江蘇大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06F17/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及深度強化學習技術領域，具體涉及一種基于深度強化學習的方法與自動尋路小車設備，包括車體、攝像機、智能舵機、智能電機、電源，智能舵機用于控制車體前兩個車輪的轉彎角度，攝像機通過開發板MIPI接口與車體的開發板相連接，攝像機用于讀取環境的圖像數據。本發明不同于傳統的路徑規劃方法，采用神經網絡的方法實現尋路可以面對更加復雜和多元的環境信息，具有很強的魯棒性。

技術領域

本發明涉及深度強化學習技術領域，更具體地說，涉及一種基于深度強化學習的方法與自動尋路小車設備。

背景技術

目前的自動尋路小車有使用紅外線、激光、超聲波偵測的方式感知環境，但這些傳統的感知設備無法對環境信息進行一個全面的獲取，在面對復雜的環境的時候無法做到有效的尋路。

隨著機器學習技術的發展，機器對圖像的識別越來越準確，如果使用攝像頭獲取周圍的信息，利用神經網絡識別圖像數據，從而進行路徑判斷，那就可以很好的在識別周圍環境基礎上實現自動尋路，這樣能夠處理更加復雜的環境數據。

現代機器學習技術的的發展離不開硬件設備的發展，隨著計算機性能的大大提升，一個小的GPU就能處理圖像數據，可以將GPU搭載到小車上，處理攝像機傳來的圖像數據以及超聲波接收器傳來的數據，執行相應的算法，讓小車完成自動尋路任務。

發明內容

為了解決現有技術中存在的復雜環境中無法有效尋路的問題，本發明提出了一種基于深度強化學習的自動尋路小車設備，包括車體400、攝像機404、智能舵機410、智能電機407、電源408；所述車體400內置有開發板、底部設有4個車輪，所述前兩個車輪為一組，連接智能舵機410，后兩個車輪為一組，連接智能電機407；所述智能舵機410安裝在車體400底部，用于控制車體400前兩個車輪的轉彎角度；所述智能電機407安裝在車體 400的底部，用于提供小車動力；所述攝像機404在車體400正前方，通過開發板MIPI接口402與車體400上的開發板相連接，攝像機404用于讀取環境的圖像數據；所述電源408 設置在智能電機407的一側。

進一步地，上述開發板為Jetson-nano開發板，開發板內裝有ubuntu操作系統；開發板內置有電源接口401、開發板MIPI連接口402、網線接口405、USB接口403，開發板通過USB接口403連接智能舵機410。

本發明還提出了一種基于深度強化學習的自動尋路方法，包括以下步驟：

1)小車在運動之前先預置目的地圖像；

2)啟動小車，在行駛時通過攝像機獲取環境圖像，將當前獲取的環境圖像和目的地圖像進行相似度對比；

3)用兩個共享權值的卷積神經網絡計算當前圖像和目標圖像的相似度，通過相似度閾值判斷小車是否達到目的地，超過相似度閾值則訓練停止；未達到相似度閾值則繼續行駛并獲取新的環境圖像，優化卷積神經網絡；

4)完成自動尋路。

進一步地，上述用兩個共享權值的卷積神經網絡計算當前圖像和目標圖像的相似度包括：

建立兩個共享權值的卷積神經網絡Channel Network、Chanel Network將當前圖像和目標圖像輸出為兩個向量，計算兩個向量的相似度，比值越接近1，圖像相似度越高，具體計算公式如下：

其中X、Y為輸出的兩個向量，其中Cov(X,Y)為X,Y向量的協方差，EX為X向量的期望值， EY為Y向量的期望值，DX為X向量方差，DY為Y向量的方差。

進一步地，上述優化卷積神經網絡或自動尋路小車的訓練過程包括以下具體步驟：

3.1)建立并初始化Action網絡、Value網絡，其中Action網絡的權值參數用θ表示，Value網絡的參數用w表示；