[發明專利]基于時序差分學習算法的最短路徑規劃方法和裝置

有效

• 申請號: 202010430881.6
• 申請日: 2020-05-20
• 公開（公告）號: CN111626489B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 劉晶;范淵
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06Q10/047
• 分類號: G06Q10/047;G06N3/092
• 代理公司: 杭州華進聯浙知識產權代理有限公司 33250
• 代理人: 賀才杰

1.一種基于時序差分學習算法的最短路徑規劃方法，其特征在于包括：

獲取待規劃網絡的拓撲結構數據；

根據所述拓撲結構數據，建立所述待規劃網絡的網絡模型；

獲取場景信息，并根據場景信息確定最短路徑規劃模型，其中，所述最短路徑規劃模型是基于時序差分學習算法訓練的；

根據所述最短路徑規劃模型，計算所述網絡模型中起點到終點的最短路徑；

其中，所述根據場景信息確定最短路徑規劃模型包括：

在根據所述場景信息確定路徑規劃策略為同軌策略的情況下，根據基于Sarsa算法的最短路徑規劃模型計算所述網絡模型中起點到終點的最短路徑；

在根據所述場景信息確定所述路徑規劃策略為離軌策略的情況下，根據基于期望Sarsa算法的最短路徑規劃模型計算所述網絡模型中起點到終點的最短路徑。

2.根據權利要求1所述的基于時序差分學習算法的最短路徑規劃方法，其特征在于，所述基于Sarsa算法的最短路徑規劃模型的訓練過程包括：

基于∈-貪婪法在所述網絡模型中的當前節點S選擇第一動作A，以使得規劃的路徑從當前節點S延伸到下一節點S′，并確定即時獎勵R；

在所述下一節點S′，計算基于∈-貪婪法在所述下一節點S′選擇第二動作A′的收獲Gt，并根據所述收獲Gt和所述即時獎勵R，更新Sarsa算法的價值函數Q。

3.根據權利要求1所述的基于時序差分學習算法的最短路徑規劃方法，其特征在于，所述基于期望Sarsa算法的最短路徑規劃模型的訓練過程包括：

基于∈-貪婪法在所述網絡模型中的當前節點S選擇第一動作A，以使得規劃的路徑從當前節點S延伸到下一節點S′，并確定即時獎勵R；

在所述下一節點S′，計算基于∈-貪婪法在所述下一節點S′選擇下一節點S′的期望收獲Gt，并根據所述期望收獲Gt和所述即時獎勵R，更新期望Sarsa算法的價值函數Q。

4.一種基于時序差分學習算法的最短路徑規劃裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取待規劃網絡的拓撲結構數據；

建立模塊，用于根據所述拓撲結構數據，建立所述待規劃網絡的網絡模型；

第二獲取模塊，用于獲取場景信息；

確定模塊，用于根據場景信息確定最短路徑規劃模型，其中，所述最短路徑規劃模型是基于時序差分學習算法訓練的；

規劃模塊，用于根據所述最短路徑規劃模型，計算所述網絡模型中起點到終點的最短路徑；

其中，所述確定模塊包括：

第一確定單元，用于在根據所述場景信息確定路徑規劃策略為同軌策略的情況下，根據基于Sarsa算法的最短路徑規劃模型計算所述網絡模型中起點到終點的最短路徑；

第二確定單元，用于在根據所述場景信息確定所述路徑規劃策略為離軌策略的情況下，根據基于期望Sarsa算法的最短路徑規劃模型計算所述網絡模型中起點到終點的最短路徑。

5.一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至3中任一項所述的基于時序差分學習算法的最短路徑規劃方法。

6.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至3中任一項所述的基于時序差分學習算法的最短路徑規劃方法。