[發明專利]用于智能體路徑規劃的方法和存儲介質

在審

• 申請號: 202110985562.6
• 申請日: 2021-08-26
• 公開（公告）號: CN113515130A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 楊洪勇;寧新順;劉飛;范之琳;韓藝琳;劉莉;王麗麗;張順寧
• 申請（專利權）人: 魯東大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 煙臺上禾知識產權代理事務所(普通合伙) 37234
• 代理人: 齊素立

本發明公開了一種用于智能體路徑規劃的方法，包括：步驟S1：建立智能體工作環境地圖，并初始化智能體位置；步驟S2：根據目標位置和智能體位置，對智能體的方向狀態和探測狀態進行離散化，并初始化Q值表；根據目標位置和智能體位置，確定若干記憶節點，智能體以記憶節點為目標導向，并在移動過程中根據探測信息添加其它記憶節點，根據若干記憶節點和其它記憶節點建立記憶池；智能體根據移動過程中獲得的回報更新Q值表，直到智能體到達目標位置或者智能體嘗試次數超過第一預設閾值；步驟S3：更新記憶池中的記憶節點，得到更新后記憶池；步驟S4：智能體根據更新后記憶池規劃路徑，到達目標位置。

技術領域

本發明涉及多智能體路徑規劃技術領域，尤其涉及一種用于智能體路徑規劃的方法和存儲介質。

背景技術

路徑規劃問題一直是機器人研究領域的熱點，隨著強化學習在各個領域的應用，強化學習與機器人路徑規劃問題也越來越緊密地聯系起來。

強化學習解決的是序貫決策問題，在與環境交互的過程中會根據回報評估動作的好壞，提高使回報增加的動作概率，減小使回報減少的概率。強化學習是通過對環境不斷地探索，在探索的過程中學習如何使下一步動作回報最大，不斷地反復探索和迭代，使回報最大的動作序貫策略即為最優路徑。

在實現本公開實施例的過程中，發現相關技術中至少存在如下問題：傳統強化學習和各種改進方法大多針對靜態環境，對于動態的環境和復雜凹形障礙物無法取得理想結果，在動態環境中，機器人周圍環境經常發生變化，因此無法利用傳統的柵格表格法存儲狀態，傳統強化學習在一個環境收斂后無法直接應用于另一個環境，仍然需要多次迭代嘗試，泛化能力較差。

發明內容

本公開實施例提供了一種用于智能體路徑規劃的方法和存儲介質，以解決現有技術中，對于動態環境，傳統強化學習在一個環境收斂后無法直接應用于另一個環境，仍然需要多次迭代嘗試，泛化能力較差的技術問題。

第一方面，提供了一種用于智能體路徑規劃的方法，該方法包括：步驟S1：建立智能體工作環境地圖，并初始化智能體位置；步驟S2：根據目標位置和所述智能體位置，對智能體的方向狀態和探測狀態進行離散化，并初始化Q值表；根據目標位置和智能體位置，確定若干記憶節點，所述智能體以所述記憶節點為目標導向，并在移動過程中根據探測信息添加其它記憶節點，根據所述若干記憶節點和所述其它記憶節點建立記憶池；所述智能體根據移動過程中獲得的回報更新所述Q值表，直到所述智能體到達所述目標位置或者所述智能體嘗試次數超過第一預設閾值；步驟S3：根據離散后的方向狀態、離散后的探測狀態、所述Q值表和所述智能體的移動距離，更新所述記憶池中的記憶節點，得到更新后記憶池；步驟S4：所述智能體根據所述更新后記憶池規劃路徑，到達所述目標位置。

結合第一方面，在第一方面的第一種可能的實現方式中，所述步驟S2進一步包括：步驟S21：根據所述目標位置和所述智能體位置，得到智能體與所述目標位置之間的夾角后，將所述目標位置和所述智能體位置的相對方向離散化，得到離散化的方向狀態；步驟S22：所述智能體探測到障礙物時，獲取所述障礙物的類型和所述智能體與所述障礙物的距離，得到離散化的探測狀態。

結合第一方面或者第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，通過人工勢場初始化Q值表，對于動態障礙物設定斥力勢場。

結合第一方面的第二種可能的實現方式，在第一方面的第三種可能的實現方式中，通過以下公式計算得到斥力勢場，斥力勢場函數G’，

其中，ξ為斥力折扣因子，ξ∈[0,1],d_now為所述智能體在當前狀態距離所述目標位置的歐氏距離，d₀為動態障礙物斥力的影響范圍，超出所述影響范圍所述智能體不受斥力影響。

結合第一方面的第三種可能的實現方式，在第一方面的第四種可能的實現方式中，所述步驟S2進一步包括：步驟S23：通過以下公式初始化Q值表，