[發明專利]一種接單輔助決策的聯邦強化學習方法

有效

• 申請號: 202110010968.2
• 申請日: 2021-01-06
• 公開（公告）號: CN112801731B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 冷杰武;張虎;劉強;阮國磊;蘇倩怡;王德文;周滿
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06N20/20
• 代理公司: 佛山市禾才知識產權代理有限公司 44379
• 代理人: 曹振;羅凱欣

1.一種接單輔助決策的聯邦強化學習方法，其特征在于，包括：

數據采集和處理，各智能體分別收集歷史訂單數據，然后提取歷史訂單數據的屬性，將所述歷史訂單數據作為訓練數據；

建立模型，根據歷史訂單數據建立環境模型，各所述智能體建立本地決策模型，所述環境模型模擬當前狀態S；所述環境模型設有獎勵函數，當所述本地決策模型根據當前狀態S對新訂單做出接受或拒絕動作后，環境模型對所述本地決策模型的接受或拒絕動作做出相應的獎勵；

訓練本地決策模型，各所述智能體各自利用所述訓練數據對所述本地決策模型進行訓練；

聯合各方數據進行聯邦強化學習，各智能體將訓練過程中的所得到的梯度信息加密成加密信息，然后發送至聚合方；所述聚合方接受各智能體的加密信息，然后解密得到各智能體的梯度信息，所述聚合方對所有的智能體的梯度信息進行整合，并訓練聚合模型，然后將訓練后的聚合模型發送至各個智能體；

依次按照以下步驟進行聯邦強化學習：

步驟A、各個所述智能體分別根據對所述環境模型的觀察結果進行動作決策；

步驟B、所述環境模型向所述智能體反饋結果，反饋結果包括新的狀態S_t+1和獎勵；

步驟C、各個所述智能體將得到的反饋結果放入各自的所述強化學習算法中對所述本地決策模型進行強化學習訓練，并計算中間結果，然后將所述中間結果加密并發送給所述聚合方；

步驟D、所述聚合方對所有的中間結果進行解密，并使用全部聚合的梯度信息對聚合模型進行訓練；

步驟E、聚合方將訓練后的聚合模型發送給各個所述智能體；

當所述本地決策模型作出接受動作，所述環境模型計算立即接受訂單的獎勵r_a：

其中，R為訂單利潤，T_w為完工期，b為訂單成本，c為訂單碳耗量，T_y為延期時間，w為延期單位懲罰，J為客戶等級；

當所述本地決策模型作出拒絕動作后，所述環境模型給予的獎勵為0或者所述環境模型根據客戶等級給予懲罰。

2.根據權利要求1所述的一種接單輔助決策的聯邦強化學習方法，其特征在于，采用強化學習算法對本地決策模型進行訓練；所述強化學習算法包括策略網絡π和價值網絡q，所述策略網絡π用于計算所述本地決策模型做出模擬的接受或拒絕動作的概率分布，然后隨機抽樣得到動作；所述價值網絡q用于對每一個模擬的動作根據當前狀態S進行打分，并選出分值最大的動作。