[發明專利]一種基于MMDDPG算法的RGV小車調度方法及系統

有效

• 申請號: 202210620696.2
• 申請日: 2022-06-02
• 公開（公告）號: CN114936783B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 郭洪飛;馬向東;曾云輝;賈宇擎;何智慧;李建慶;韓世林
• 申請（專利權）人: 暨南大學
• 主分類號: G06Q10/0631
• 分類號: G06Q10/0631;G06Q10/083;G06Q10/067;G06N20/00
• 代理公司: 廣東金穗知識產權代理事務所(普通合伙) 44852
• 代理人: 鐘文華

1.一種基于MMDDPG算法的RGV小車調度方法，其特征在于，包括：

根據生產車間的特點，建立車間調度模型，具體包括：將RGV小車在生產車間中的調度建模為直線流水調度模型，調度的最終目標是使得每個班次中各臺加工機器的總任務擱置時間最短，使得加工機器達到最高的利用率；

利用銀行家算法為單獨的一個RGV小車提供調度策略，決定加工機器的執行次序；

在直線流水調度模型中，采用不可搶占式最低松弛度優先算法，根據每臺加工機器的任務松弛程度確定任務的優先級，任務的緊急程度越高，任務的執行優先級越高；

所述MMDDPG算法具體為：將每個RGV小車視作一個單獨的模塊，每一個模塊的內部存在一個銀行家算法對RGV小車進行調度；

利用MMDDPG算法并結合熵正則化器使該RGV小車了解到其他RGV小車的策略，實現對多RGV小車的有效協同調度；

RGV小車調度基于MMDDPG算法強化學習的結果進行，MMDDPG算法進行強化學習時，對每個RGV小車的強化學習都考慮其他RGV小車的動作策略，進行中心化訓練和非中心化執行；所述中心化訓練指所有的RGV小車的數據進行統一訓練，所述非中心化執行指每個RGV小車按各自規則執行；

采用銀行家算法對單獨的一個RGV小車提供調度參考，同時，利用MMDDPG算法并結合熵正則化器使該RGV小車了解到其他RGV小車的策略，實現對多RGV小車的有效協同調度，具體包括：

利用銀行家算法為單獨的RGV小車提供調度策略；

利用MMDDPG算法并結合熵正則化器使每一RGV小車了解到其他RGV小車所采取的調度策略，并為每一個RGV小車提供考慮了其他RGV小車調度的策略；

構建每一個RGV小車最終采取的策略如下式：

；

其中，a為可調超參數，取值范圍在（0,1）。

2.根據權利要求1所述的基于MMDDPG算法的RGV小車調度方法，其特征在于，訓練多個不同的子策略的集合，將策略之間的差異作為集成目標函數，多個策略的集成目標函數為：

其中，

為多個策略的集成目標函數；

為獎勵函數；

S為智能體的狀態輸入；

為智能體將采取的動作；

u_i策略集中的第i個策略；

H(u_i)是策略分布的熵；

p^u為所有狀態的集合；

E表示概率論中的期望；

是超參數，用來控制目標函數中熵的目標比例，值越大，說明越希望多個策略之間的差異性越大。

3.根據權利要求2所述的基于MMDDPG算法的RGV小車調度方法，其特征在于，MMDDPG算法強化學習中采用如下公式更新計算集成目標函數的梯度：

其中，

D為智能體體驗重放緩沖區，包括元組；

為第i個策略的參數；

為第i個策略的集中式動作值函數，函數的輸入為，為N個智能體的動作，為第i個智能體所獲得的獎勵；函數的輸出為智能體i的動作價值；

x為狀態信息，，包括N個智能體的觀察值，為第i個智能體的觀察值。

4.根據權利要求1所述的基于MMDDPG算法的RGV小車調度方法，其特征在于，強化學習獎勵為單位時間的RGV小車運輸總量，動作為RGV小車上料、下料以及RGV小車發生位移，狀態為各RGV小車的位置。