[發明專利]一種基于強化學習的路徑規劃方法及裝置

在審

• 申請號: 202011263430.4
• 申請日: 2020-11-12
• 公開（公告）號: CN112507520A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 周銳;胡文;孫佳優;葉梓豪;郭浩文
• 申請（專利權）人: 深圳慧拓無限科技有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06N20/00;G06F17/15
• 代理公司: 北京力量專利代理事務所(特殊普通合伙) 11504
• 代理人: 毛雨田

1.一種基于強化學習的路徑規劃方法，其特征在于，包括：

建立環境勢能場，所述環境勢能場包括目標點的引力場和障礙物的斥力場；

根據所述環境勢能場和獎勵函數，優化所述獎勵函數；

選擇迭代路徑，得到下一狀態；以及

當所述下一狀態的獎勵函數滿足預算條件時，結束迭代。

2.根據權利要求1所述的方法，其特征在于，還包括：

根據所述環境勢能場和獎勵函數，初始化當前狀態的評價函數。

3.根據權利要求2所述的方法，其特征在于，所述根據所述環境勢能場和獎勵函數，初始化當前狀態的評價函數包括：

所述當前狀態的初始評價函數值與對應的獎勵函數正相關，所述當前狀態的初始評價函數值與對應的狀態下的勢能值正相關；其中，所述勢能值為所述引力場和所述斥力場的合力。

4.根據權利要求1所述的方法，其特征在于，所述根據所述環境勢能場和獎勵函數，優化所述獎勵函數包括：

優化后的獎勵函數與對應的優化前的獎勵函數正相關，優化后的獎勵函數與對應的狀態下的勢能值正相關；其中，所述勢能值為所述引力場和所述斥力場的合力。

5.根據權利要求1所述的方法，其特征在于，還包括：

根據優化后的獎勵函數，更新評價函數；其中，所述評價函數與所述優化后的獎勵函數正相關。

6.根據權利要求5所述的方法，其特征在于，還包括：

根據所述環境勢能場的勢能值構建啟發函數，所述啟發函數與所述環境勢能場的勢能值正相關。

7.根據權利要求6所述的方法，其特征在于，所述選擇迭代路徑依據如下任一種策略：

根據所述啟發函數確定所述迭代路徑；或

根據所述評價函數確定所述迭代路徑；或

隨機選擇迭代路徑。

8.根據權利要求7所述的方法，其特征在于，選擇迭代路徑的各種依據的概率之和為1。

9.根據權利要求1所述的方法，其特征在于，所述預算條件包括：

所述下一狀態的累計獎勵函數小于第一閾值；或

所述下一狀態的累計獎勵函數大于第二閾值；

其中，所述第一閾值小于所述第二閾值。

10.一種基于強化學習的路徑規劃裝置，其特征在于，包括：

勢能場建立模塊，用于建立環境勢能場，所述環境勢能場包括目標點的引力場和障礙物的斥力場；

獎勵函數優化模塊，用于根據所述環境勢能場和獎勵函數，優化所述獎勵函數；

迭代模塊，用于選擇迭代路徑，得到下一狀態；以及

判斷模塊，用于當所述下一狀態的獎勵函數滿足預算條件時，結束迭代。