[發(fā)明專利]基于深度強化學(xué)習(xí)的無人車充電路徑規(guī)劃方法

在審

• 申請?zhí)枺?/td>: 202210302308.6
• 申請日: 2022-03-25
• 公開（公告）號: CN114676909A
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計）人: 傅忱忱;郜正軒;吳巍煒;呂妍;周頴豪;徐學(xué)永;夏羽
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/06;G06Q50/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 薛雨妍

1.基于深度強化學(xué)習(xí)的無人充電車路徑規(guī)劃方法，其特征在于，包括如下步驟：

步驟(1)收集無線傳感網(wǎng)絡(luò)中的節(jié)點S＝{s₀,s₁,s₂,…,s_n}信息，包含節(jié)點的位置信息和緊急狀況；

步驟(2)搭建基于深度強化學(xué)習(xí)的模型GAPN，包含點編碼器、圖編碼器、解碼器以及注意力機制模塊；

步驟(3)以搜集到節(jié)點信息數(shù)據(jù)為基礎(chǔ)，生成訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集用于訓(xùn)練GAPN模型；

步驟(4)設(shè)定模型訓(xùn)練目標為最小化節(jié)點死亡率以及最小化充電車路徑成本，定義損失函數(shù)，使用強化學(xué)習(xí)actor-critic算法對GAPN進行訓(xùn)練，得到最終的模型；

步驟(5)將無線傳感網(wǎng)絡(luò)中的節(jié)點S＝{s₀,s₁,s₂,…,s_n}信息輸入到GAPN模型中，模型返回充電車訪問所有節(jié)點的方案π＝{s₀,s′₁,s′₂,…,s′_n}，其中π是對S的重新排序；

步驟(6)利用一種啟發(fā)式聚類方法結(jié)合GAPN，解決多個充電車場景下的路徑規(guī)劃問題，即無線傳感網(wǎng)絡(luò)具有多個充電車時，調(diào)度充電車以及規(guī)劃充電車路徑的方案。

2.如權(quán)利要求1所述的基于深度強化學(xué)習(xí)的無人充電車路徑規(guī)劃方法，其特征在于：步驟(4)中使用的actor-critic算法具體為：

步驟4.1：以GAPN的網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)搭建actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)，θ代表actor網(wǎng)絡(luò)參數(shù),θ_v代表critic網(wǎng)絡(luò)參數(shù)，兩個網(wǎng)絡(luò)的區(qū)別在于actor網(wǎng)絡(luò)在解碼過程中使用平均采樣的方式，critic網(wǎng)絡(luò)采用貪心采樣的策略；

步驟4.2：一批量訓(xùn)練數(shù)據(jù)集合X，共有B個數(shù)據(jù)，對于每一個數(shù)據(jù)集實例x_i，應(yīng)用當前actor網(wǎng)絡(luò)進行求解最終路徑成本L(π_i|x_i)，應(yīng)用critic網(wǎng)絡(luò)求解其基線期望值

步驟4.3：利用步驟4.2中得到的值進行兩個網(wǎng)絡(luò)批量策略梯度計算，actor網(wǎng)絡(luò)策略梯度g_θ計算：critic網(wǎng)絡(luò)策略梯度

步驟4.4：利用梯度下降法對兩個網(wǎng)絡(luò)的參數(shù)分別進行更新，更新規(guī)則分別為：θ＝θ+lr*g_θ，其中l(wèi)r為學(xué)習(xí)率；

步驟4.5：重復(fù)步驟4.2至步驟4.4T次，T為訓(xùn)練前設(shè)定好的訓(xùn)練代數(shù)。

3.如權(quán)利要求1所述的基于深度強化學(xué)習(xí)的無人充電車路徑規(guī)劃方法，其特征在于：步驟(6)中使用的啟發(fā)式聚類算法具體為：

步驟6.1：定義m個子集合R＝{S₁,S₂,…,S_m}，用于存放每個充電車將要訪問的節(jié)點；定義e(S_j)為S_j中所有節(jié)點的緊急程度之和；

步驟6.2：對于輸入的無線傳感網(wǎng)絡(luò)節(jié)點集合S，按照節(jié)點的初始緊急程度從大到小排序；

步驟6.3：先將節(jié)點集合S中前m個節(jié)點分別放入m個子集S₁,S₂,…,S_m中；

步驟6.4：先將集合R按照e(S_j)遞增順序排序，遍歷集合S中剩下的節(jié)點，對于當前遍歷到的節(jié)點s_i，如果S_j中不存在節(jié)點s_k和節(jié)點s_i的開啟時間之差R_i,k大于旅行時間Γ_i,k，或者截止時間之差D_i,k小于旅行時間Γ_i,k，則將s_i放入S_j，否則就更換另一個子集，直至條件滿足；

步驟6.5：得到最終m個子集合R＝{S₁,S₂,…,S_m}，用于m個充電車任務(wù)執(zhí)行。