[發明專利]多智能體局部交互路徑規劃方法、裝置、設備及存儲介質

有效

• 申請號: 202110946674.0
• 申請日: 2021-08-17
• 公開（公告）號: CN113759902B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 田莎莎;汪紅;帖軍;王江晴;鄭祿;張瀟;徐科;謝勇
• 申請（專利權）人: 中南民族大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 郝懷慶

1.一種多智能體局部交互路徑規劃方法，其特征在于，所述方法包括：

獲取目標區域內各智能體的當前位置和目標位置；

根據各智能體的當前位置和目標位置通過各智能體對應的基于局部交互式多智能體四階梯經驗池的DDPG模型確定各智能體的規劃路線；

根據各智能體的路徑規劃路線控制對應的智能體移動至所述目標位置。

2.如權利要求1所述的方法，其特征在于，所述獲取目標區域內各智能體的當前位置和目標位置的步驟之前，所述方法還包括：

根據當前動作策略和預設探索噪聲通過各智能體對應的初始基于局部交互式多智能體四階梯經驗池的DDPG模型控制設定區域內的各智能體移動；

實時獲取各智能體移動過程中的經驗信息，并將所述經驗信息添加至對應的經驗緩沖池；

根據四階梯采樣機制實時控制各智能體從對應的經驗緩沖池中采集訓練經驗信息；

根據所述訓練經驗信息訓練對應的初始基于局部交互式多智能體四階梯經驗池的DDPG模型，并在滿足預設條件時，獲得各智能體對應的基于局部交互式多智能體四階梯經驗池的DDPG模型。

3.如權利要求2所述的方法，其特征在于，所述經驗緩沖池包括靜態優秀軌跡經驗緩沖池、碰撞軌跡經驗緩沖池、動態優秀軌跡經驗緩沖池和實時軌跡經驗緩沖池；

所述根據四階梯采樣機制實時控制各智能體從對應的經驗緩沖池中采集訓練經驗信息，包括：

獲取各智能體移動過程中預設次數的平均獎勵，并根據所述平均獎勵確定各智能體的訓練階段判斷指標；

根據前后步進關系獎勵機制確定各智能體在移動過程中獲得的當前獎勵；

根據所述各智能體的訓練階段判斷指標、所述當前獎勵和預設指標閾值判斷各智能體處于的訓練階段，并根據所述訓練階段確定對應智能體在各經驗緩沖池的采樣比例；

根據所述各智能體在各經驗緩沖池的采樣比例從各智能體對應的靜態優秀軌跡經驗緩沖池、碰撞軌跡經驗緩沖池、動態優秀軌跡經驗緩沖池和實時軌跡經驗緩沖池中采集訓練經驗信息。

4.如權利要求3所述的方法，其特征在于，所述根據所述各智能體的訓練階段判斷指標、所述當前獎勵和預設指標閾值判斷各智能體處于的訓練階段，并根據所述訓練階段確定對應智能體在各經驗緩沖池的采樣比例，包括：

獲取各智能體的靜態優秀軌跡經驗緩沖池的靜態優秀軌跡平均獎勵；

在所述訓練階段判斷指標小于預設指標閾值且所述當前獎勵小于優秀軌跡平均獎勵時，將第一預設比例作為對應的智能體處于學步階段時在各經驗緩沖池的采樣比例；

在所述訓練階段判斷指標大于預設指標閾值時，將第二預設比例作為對應智能體處于蹣跚階段時在各經驗緩沖池的采樣比例；

在所述當前獎勵大于優秀軌跡平均獎勵時，將第三預設比例作為對應智能體處于酷跑階段時在各經驗緩沖池的采樣比例。

5.如權利要求2所述的方法，其特征在于，所述實時獲取各智能體移動過程中的經驗信息，并將所述經驗信息添加至對應的經驗緩沖池，包括：

根據局部交互策略實時獲取各智能體移動過程中的經驗信息；

將所述經驗信息添加至對應的初始基于局部交互式多智能體四階梯經驗池的DDPG模型的經驗緩沖池。

6.如權利要求5所述的方法，其特征在于，所述根據局部交互策略實時獲取各智能體移動過程中的經驗信息，包括：

根據預設規則從所述各智能體中選取目標智能體；

以所述目標智能體為中心，從所述目標區域中選取處于預設范圍內的若干個智能體；

根據所述目標智能體的參數和所述若干個智能體的參數確定所述目標智能體移動過程中的經驗信息。

7.如權利要求6所述的方法，其特征在于，所述根據所述目標智能體的參數和所述若干個智能體的參數確定所述目標智能體移動過程中的經驗信息，包括：

獲取所述目標智能體與所述若干個智能體之間的距離；

根據所述距離從所述若干個智能體中選取預設數量的智能體；

根據所述目標智能體的參數和所述預設數量的智能體的參數確定所述目標智能體移動過程中的經驗信息。