[發明專利]基于強化學習的多層工廠車間調度方法

在審

• 申請號: 202310436057.5
• 申請日: 2023-04-20
• 公開（公告）號: CN116594358A
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 歐陽雅捷;劉曉翔
• 申請（專利權）人: 暨南大學
• 主分類號: G05B19/418
• 分類號: G05B19/418
• 代理公司: 廣東金穗知識產權代理事務所(普通合伙) 44852
• 代理人: 鐘文華

本發明提出了一種基于強化學習的多層工廠車間調度方法，包括：建立多層工廠車間物流網絡模型；收集數據，采用邊緣計算算法對數據進行實時預處理和分析，采用聯邦學習技術對分散在不同設備上的數據進行分布式學習；設計強化學習模型；實時調度執行，使用模型預測控制技術，生成魯棒調度策略，然后采用事件驅動調度方法，提高調度系統的適應性；采用多層工廠在線強化學習方法，強化學習模型實時更新參數，然后采用遷移學習技術，提升強化學習模型的學習效果和泛化能力；采用貝葉斯優化算法和進化算法，優化物流網絡模型。本發明通過設計在線學習方法的形式在多層工廠調度問題中實現高效率協同的分布式計算，能夠快速適應環境的變化。

技術領域

本發明屬于工廠車間調度的技術領域，尤其涉及基于強化學習的多層工廠車間調度方法。

背景技術

隨著工業自動化和智能制造的快速發展，多層工廠車間逐漸成為一種可行的解決方案，特別是在土地資源有限和成本較高的地區。多層工廠具有空間利用率高、節省土地資源等優點。然而，多層工廠車間在物流調度和生產線調度方面面臨一些技術挑戰，如物流路徑復雜、垂直運輸需求增加等。現有的單層工廠調度方法無法很好地解決這些問題，導致調度效率低、適應性差、無法應對動態環境等。因此，迫切需要一種高效、靈活、自適應的多層工廠車間調度方法。

發明內容

本發明的目的是提出一種基于強化學習的多層工廠車間調度方法，通過設計在線學習方法的形式在多層工廠調度問題中實現高效率協同的分布式計算，能夠快速適應環境的變化。

為了達到上述目的，在本發明提供了基于強化學習的多層工廠車間調度方法，所述方法包括：

S1：建立多層工廠車間物流網絡模型；

S2：收集數據，采用邊緣計算算法對數據進行實時預處理和分析，再采用聯邦學習技術對分散在不同設備上的數據進行分布式學習；

S3：設計強化學習模型，包括對S，A，R，T部分的建模，其中，S表示狀態空間，A表示動作空間，R表示獎勵函數，T表示轉移函數；

S4：實時調度執行，使用模型預測控制技術，生成針對不確定性和動態環境的魯棒調度策略，然后采用事件驅動調度方法，提高調度系統的適應性；

S5：采用多層工廠在線強化學習方法，強化學習模型在生產過程中實時更新參數，然后采用遷移學習技術，同時利用其他工廠車間的經驗數據，提升強化學習模型的學習效果和泛化能力；

S6：采用貝葉斯優化算法，自動調整強化學習模型的超參數，然后采用進化算法，通過模擬自然選擇過程，不斷優化物流網絡模型。

進一步地，所述S1，具體包括：采用層次化建模方法，將多層工廠的物流網絡拆分為不同的層級，并使用圖神經網絡對物流網絡進行表示學習，捕獲多層工廠車間中的復雜物流關系；

其中，所述層次化建模方法包括：將物流網絡劃分為樓層層級和電梯層級；在所述樓層層級中，建立樓層子網絡模型，包括生產線、倉庫和物流路徑；在電梯層級中，建立電梯子網絡模型，包括電梯和樓層之間的物流路徑；

所述圖神經網絡對物流網絡進行表示學習，具體包括：

S1.1、初始化一個有向圖G(V,E)，其中V是節點集合，E是邊集合。節點表示生產線、倉庫或電梯，邊表示物流路徑，節點特征包括生產速率、庫存量和電梯運行速度，邊特征包括物流路徑長度和最大搬運能力；

S1.2、使用以下GNN架構進行表示學習：

輸入層：將所述節點特征和所述邊特征輸入GNN模型；

隱藏層：包含多個卷積層，每一層利用相鄰節點和邊的信息更新節點表示，采用ReLU激活函數進行非線性變換。

輸出層：輸出節點和邊的特征表示，用于后續的強化學習模型；