[發明專利]基于多智能體強化學習的信貸工廠訂單調度方法及裝置

有效

• 申請號: 202011591872.1
• 申請日: 2020-12-29
• 公開（公告）號: CN112288341B
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 崔潤邦;王琦;鄧江;賈寧;黃超琪
• 申請（專利權）人: 青島泛鈦客科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q40/02;G06K9/62
• 代理公司: 北京市維詩律師事務所 11393
• 代理人: 李翔;楊安進

1.基于多智能體強化學習的信貸工廠訂單調度方法，其特征在于，該信貸工廠訂單調度方法包括：

多智能體將行動發送至環境；

環境計算出所述多智能體共享的狀態以及各個智能體的獎勵；

環境將所述多智能體共享的狀態以及各個智能體的獎勵發送至對應的各個智能體；

各個智能體根據收到的狀態以及獎勵選擇行動；

其中，所述多智能體依次處理所述信貸工廠訂單，

所述環境根據下述步驟計算獎勵：

環境計算，其中為在狀態s下采取動作a的衡量指標，為第t步信貸工廠訂單的平均等待時間，為第t步信貸工廠訂單的超時率；

環境將與狀態s下的平均衡量指標相關的參數進行比較，并根據比較結果給出獎勵。

2.根據權利要求1所述的基于多智能體強化學習的信貸工廠訂單調度方法，其特征在于，所述多智能體的數量為多個，所述環境為所述信貸工廠。

3.根據權利要求1或2所述的基于多智能體強化學習的信貸工廠訂單調度方法，其特征在于，所述行動為選擇的調度規則。

4.根據權利要求3所述的基于多智能體強化學習的信貸工廠訂單調度方法，其特征在于，所述調度規則為先到先服務、最短松弛時間、最早截止時間、以及后到先服務中的一者，其中松弛時間為截止時間與到達時間之差。

5.根據權利要求1所述的基于多智能體強化學習的信貸工廠訂單調度方法，其特征在于，所述環境根據如下步驟分配獎勵：

獲取各個智能體處理信貸工廠訂單的松弛時間；

至少獲取各個智能體中信貸工廠訂單的輸入時間、結束時間和等待時間；如果結束時間和到達之間之差大于松弛時間，則該智能體處理信貸工廠訂單超時；

計算各個智能體處理信貸工廠訂單的平均等待時間和超時率；

根據信貸工廠訂單的平均等待時間和超時率，將獎勵分配給各個智能體。

6.根據權利要求1所述的基于多智能體強化學習的信貸工廠訂單調度方法，其特征在于，環境根據如下步驟計算多智能體共享的狀態：

使用編碼器對信貸工廠訂單處理信息矩陣進行維度處理；

對維度處理后的信貸工廠訂單處理信息矩陣進行聚類，得到多智能體共享的狀態。

7.基于多智能體強化學習的信貸工廠訂單調度裝置，其特征在于，該信貸工廠訂單調度裝置包括多智能體和環境；

多智能體，用于根據收到的狀態以及獎勵選擇行動；將行動發送至環境；

環境，用于計算出所述多智能體共享的狀態以及各個智能體的獎勵；將所述多智能體共享的狀態以及各個智能體的獎勵發送至對應的各個智能體；

其中，所述多智能體依次處理所述信貸工廠訂單，

所述環境還用于計算，其中為在狀態s下采取動作a的衡量指標，為第t步信貸工廠訂單的平均等待時間，為第t步信貸工廠訂單的超時率；將與狀態s下的平均衡量指標相關的參數進行比較，并根據比較結果給出獎勵。

8.根據權利要求7所述的基于多智能體強化學習的信貸工廠訂單調度裝置，其特征在于，所述多智能體的數量為多個，所述環境為所述信貸工廠。

9.根據權利要求7或8所述的基于多智能體強化學習的信貸工廠訂單調度裝置，其特征在于，所述行動為選擇的調度規則。

10.根據權利要求9所述的基于多智能體強化學習的信貸工廠訂單調度裝置，其特征在于，所述調度規則為先到先服務、最短松弛時間、最早截止時間、以及后到先服務中的一者，其中松弛時間為截止時間與到達時間之差。