[發明專利]一種基于深度強化學習的自動尋路方法及尋路小車設備

在審

• 申請號: 202010577779.9
• 申請日: 2020-06-23
• 公開（公告）號: CN111881742A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 毛震;耿霞;楊治;陸虎
• 申請（專利權）人: 江蘇大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06F17/11
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度強化學習的自動尋路小車設備，其特征在于，包括車體400、攝像機404、智能舵機410、智能電機407、電源408；所述車體400內置有開發板、底部設有4個車輪，所述前兩個車輪為一組，連接智能舵機410，后兩個車輪為一組，連接智能電機407；所述智能舵機410安裝在車體400底部，用于控制車體400前兩個車輪的轉彎角度；所述智能電機407安裝在車體400的底部，用于提供小車動力；所述攝像機404在車體400正前方，通過開發板MIPI接口402與車體400上的開發板相連接，攝像機404用于讀取環境的圖像數據；所述電源408設置在智能電機407的一側。

2.如權利要求1所述的基于深度強化學習的自動尋路小車設備，其特征在于，所述開發板為Jetson-nano開發板，開發板內裝有ubuntu操作系統；開發板內置有電源接口401、開發板MIPI連接口402、網線接口405、USB接口403，開發板通過USB接口403連接智能舵機410。

3.一種基于深度強化學習的自動尋路方法，其特征在于，包括以下步驟：

1)小車在運動之前先預置目的地圖像；

2)啟動小車，在行駛時通過攝像機獲取環境圖像，將當前獲取的環境圖像和目的地圖像進行相似度對比；

3)用兩個共享權值的卷積神經網絡計算當前圖像和目標圖像的相似度，通過相似度閾值判斷小車是否達到目的地，超過相似度閾值則訓練停止；未達到相似度閾值則繼續行駛并獲取新的環境圖像，優化卷積神經網絡；

4)完成自動尋路。

4.如權利要求3所述的基于深度強化學習的自動尋路方法，其特征在于，用兩個共享權值的卷積神經網絡計算當前圖像和目標圖像的相似度包括：

建立兩個共享權值的卷積神經網絡Channel Network、Chanel Network將當前圖像和目標圖像輸出為兩個向量，計算兩個向量的相似度，比值越接近1，圖像相似度越高，具體計算公式如下：

其中X、Y為輸出的兩個向量，其中Cov(X,Y)為X,Y向量的協方差，EX為X向量的期望值，EY為Y向量的期望值，DX為X向量方差，DY為Y向量的方差。