[發明專利]基于深度強化學習的多目標柔性作業車間調度方法和裝置

在審

• 申請號: 202010983212.1
• 申請日: 2020-09-17
• 公開（公告）號: CN112149987A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 張林宣;羅術
• 申請（專利權）人: 清華大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種基于深度強化學習的多目標柔性作業車間調度方法，其特征在于，包括：

讀取當前重調度時刻的生產線狀態特征向量；

將所述生產線狀態特征向量輸入訓練后的目標智能體的目標策略網絡，得到所述當前重調度時刻的調度目標；

將所述生產線狀態特征向量和所述調度目標輸入訓練后的工件智能體的工件策略網絡，得到所述當前重調度時刻的工件指派規則；

將所述生產線狀態特征向量和所述調度目標輸入訓練后的機器智能體的機器策略網絡，得到所述當前重調度時刻的機器分配規則；

根據所述工件指派規則選取待加工工件，根據所述機器分配規則選取加工機器，以及通過所述加工機器對所述待加工工件的下一道工序進行加工處理。

2.如權利要求1所述的基于深度強化學習的多目標柔性作業車間調度方法，其特征在于，將所述當前重調度時刻的生產線狀態特征向量輸入訓練后的目標智能體的目標策略網絡，得到所述當前重調度時刻的調度目標，包括：

根據所述目標策略網絡中的深度神經網絡對所述生產線狀態特征向量進行處理后輸入分類函數得到每一個優化目標對應的選擇概率；

使用輪盤賭方法根據不同優化目標的選擇概率確定所述調度目標。

3.如權利要求1所述的基于深度強化學習的多目標柔性作業車間調度方法，其特征在于，將所述當前重調度時刻的生產線狀態特征向量和所述當前重調度時刻的調度目標輸入訓練后的工件智能體的工件策略網絡，得到所述當前重調度時刻的工件指派規則，包括：

根據所述工件策略網絡中的深度神經網絡對所述生產線狀態特征向量和所述調度目標進行處理后輸入分類函數得到每一個工件指派規則對應的選擇概率；

使用輪盤賭方法根據不同工件指派規則的選擇概率確定所述工件指派規則。

4.如權利要求1所述的基于深度強化學習的多目標柔性作業車間調度方法，其特征在于，將所述當前重調度時刻的生產線狀態特征向量和所述當前重調度時刻的調度目標輸入訓練后的機器智能體的機器策略網絡，得到當前重調度時刻的機器分配規則，包括：

根據所述機器策略網絡中的深度神經網絡對所述生產線狀態特征向量和所述調度目標進行處理后輸入分類函數得到每一個機器分配規則對應的選擇概率；

使用輪盤賭方法根據不同機器分配規則的選擇概率確定所述機器分配規則。

5.如權利要求1所述的基于深度強化學習的多目標柔性作業車間調度方法，其特征在于，還包括：

將所述當前重調度時刻的生產線狀態特征向量輸入所述目標智能體的目標價值網絡，得到所述當前重調度時刻的目標狀態價值函數；

將所述當前重調度時刻的生產線狀態特征向量和所述當前重調度時刻的調度目標輸入所述工件智能體的工件價值網絡，得到所述當前重調度時刻的工件狀態價值函數；

將所述當前重調度時刻的生產線狀態特征向量和所述當前重調度時刻的調度目標輸入所述機器智能體的機器價值網絡，得到所述當前重調度時刻的機器狀態價值函數。

6.如權利要求1所述的基于深度強化學習的多目標柔性作業車間調度方法，其特征在于，所述當前重調度時刻為任意一道工序的完成時刻、或者，插單到達的時刻。