[發明專利]一種基于強化學習策略迭代技術的城市路網路徑規劃方法

在審

• 申請號: 202211299635.7
• 申請日: 2022-10-24
• 公開（公告）號: CN115574825A
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 梁棟;王慧敏;席宇亮
• 申請（專利權）人: 安徽大學
• 主分類號: G01C21/20
• 分類號: G01C21/20;G01C21/34;G06F30/20;G06Q10/04;G06Q50/26;G06N3/04;G06N3/08;G06F111/08
• 代理公司: 合肥國和專利代理事務所(普通合伙) 34131
• 代理人: 張祥騫

本發明涉及一種基于強化學習策略迭代技術的城市路網路徑規劃方法，與現有技術相比解決了極端路網環境下難以保證路徑規劃方法穩定收斂的缺陷。本發明包括以下步驟：城市路網數據模型的構建；路網環境中強化學習模型要素的設計；正常狀態下城市路網最優路徑的生成；城市極端路網環境下最優路徑的生成。本發明通過對極端路網環境下(通行壓力為0)路徑規劃方法的收斂性問題進行改進與優化，探索了方法在上述環境下的收斂條件和關鍵超參數取值的相互關系，利用啟發性知識減少了獎勵函數要素取值設計的隨機性，保證了在任何路網環境下都能夠迅速地探索到最優路徑。

技術領域

本發明涉及智能交通技術領域，具體來說是一種基于強化學習策略迭代技術的城市路網路徑規劃方法。

背景技術

隨著我國經濟的不斷發展與城市化的進程不斷加快，城市交通擁堵已經是一件非常嚴重的問題，隨之而來的是越來越嚴重的環境污染、額外的出行時間、不必要的能源消耗等嚴重問題。對車輛進行分流以及進行高效完整的路徑規劃來解決交通擁堵具有十分重要的意義。路徑規劃算法在國內外早已深入研究，如基于圖的啟發式算法(A*)、基于適應度函數的智能仿生學算法(遺傳算法)、蟻群算法等。但在復雜城市路網環境下，這些算法往往存在啟發函數設計與初始解空間生成困難等缺點，從而影響算法的執行效率。

基于強化學習策略迭代路徑規劃方法在環境狀態信息(路網結構)已知的條件下進行路徑探索，智能體無需對環境信息進行采樣，通過與路網環境的交互直接對兩種價值函數(狀態價值函數和動作價值函數)與行為策略進行迭代求解和優化，因此具有執行效率高、收斂性好的特點，非常適合于城市路網環境下的路徑規劃研究與實際應用。

現有技術中，《IEEE Transactions on Intelligent Transportation System》涉及一篇基于強化學習策略迭代方法的路徑規劃論文：Urban multiple route planningmodel using dynamic programming in reinforcement learning，但是原方法在極端路網環境下的收斂性存在一定問題，導致路徑探索失敗。

針對這一問題，如何使方法在極端路網環境下(道路通行壓力為0)能夠收斂，如何揭示關鍵超參數的取值及其相互關系的規律，從根本上解決路徑規劃問題的穩定性，已經成為急需解決的技術問題。

發明內容

本發明的目的是為了解決現有技術中極端路網環境下難以保證路徑規劃方法穩定收斂的缺陷，提供一種基于強化學習策略迭代技術的城市路網路徑規劃方法來解決上述問題。

為了實現上述目的，本發明的技術方案如下：

一種基于強化學習策略迭代技術的城市路網路徑規劃方法，包括以下步驟：

11)城市路網數據模型的構建：獲取路網數據并進行預處理，建立路網數據與路網環境的拓撲關系，構建出城市路網數據模型；

12)路網環境中強化學習模型要素的設計：基于城市路網數據模型中的路網環境，根據智能體是否到達終點對獎勵函數進行詳細設計；

13)正常狀態下城市路網最優路徑的生成：基于獎勵函數要素引導智能體向終點探索，并利用強化學習策略迭代方法生成最優路徑；

14)城市極端路網環境下最優路徑的生成：在路網通行壓力全為0的極端路網環境下，由于基于強化學習策略迭代的路徑規劃方法存在收斂性問題，故分析強化學習策略迭代方法收斂的充分條件以及關鍵超參數，即折扣因子γ和finalReward的取值及其相互關系對收斂性的影響，以此收斂充分條件和超參數取值關系對強化學習策略迭代的路徑規劃方法進行優化，在極端路網環境下生成最優路徑。

所述城市路網數據模型的構建包括以下步驟：

21)利用城市路網矢量圖，將所有道路在交匯處進行打斷，并在打斷處添加結點；