[發(fā)明專利]使用狀態(tài)矩陣自學(xué)習(xí)柔性制造系統(tǒng)的制造調(diào)度的方法及設(shè)備

在審

• 申請?zhí)枺?/td>: 201980100510.7
• 申請日: 2019-09-19
• 公開（公告）號: CN114503038A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 斯基林·貝爾;丹妮爾·切爾西·圖爾納
• 申請（專利權(quán)）人: 西門子股份公司
• 主分類號: G05B19/418
• 分類號: G05B19/418
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 陳方鳴

1.一種用于自學(xué)習(xí)被至少用于生產(chǎn)產(chǎn)品的柔性制造系統(tǒng)(500)的制造調(diào)度的方法，

其中，所述制造系統(tǒng)由以處理實體(C，C1，...)而互連的加工實體(M1，M2，...M6)構(gòu)成，

其中，通過在所述柔性制造系統(tǒng)的模型(400)上的增強學(xué)習(xí)系統(tǒng)(300)學(xué)習(xí)所述制造調(diào)度，

其中，所述模型(400)至少表示所述柔性制造系統(tǒng)的行為與決策制定，其中，所述模型(400)被轉(zhuǎn)換為狀態(tài)矩陣(200)以模擬所述柔性制造系統(tǒng)的狀態(tài)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述狀態(tài)矩陣(200)中的一種狀態(tài)表示包括所述產(chǎn)品的所述柔性制造系統(tǒng)(500)中的一種情形。

3.根據(jù)前述權(quán)利要求中任一項所述的方法，其特征在于，所述柔性制造系統(tǒng)(500)具有已知拓?fù)?100)，并且生成與來自所述模型(100)的信息對應(yīng)的所述狀態(tài)矩陣(200)，其中，根據(jù)所描述的所述柔性制造系統(tǒng)(500)的所述拓?fù)鋵λ鰻顟B(tài)矩陣(200)中的所述信息的位置進行排序。

4.根據(jù)前述權(quán)利要求中任一項所述的方法，其特征在于，自動生成所述狀態(tài)矩陣(200)中的信息，

a)在第一步驟中，根據(jù)所述柔性制造系統(tǒng)中的實際位置將所述處理實體(C，C1，...，203)的信息放置到所述矩陣中；并且

b)在第二步驟中，放置所述加工實體(M1，M2，...M6，201)的信息。

5.根據(jù)前述權(quán)利要求中任一項所述的方法，其特征在于，關(guān)于所述加工實體的所述狀態(tài)矩陣(200)中的信息包含相應(yīng)實體的處理能力(F1，F(xiàn)2，...)的表示。

6.根據(jù)前述權(quán)利要求中任一項所述的方法，其特征在于，所述狀態(tài)矩陣(200)的主體包含在加工實體的加工隊列中等待的一個時間點處位于所述柔性制造系統(tǒng)中的每個產(chǎn)品的輸入(202)。

7.根據(jù)前述權(quán)利要求中任一項所述的方法，其特征在于，所述狀態(tài)矩陣(200)的主體包含作業(yè)列表(JL)的輸入(JL)。

8.根據(jù)前述權(quán)利要求中任一項所述的方法，其特征在于，對于所述增強學(xué)習(xí)系統(tǒng)的訓(xùn)練，基于關(guān)于所述產(chǎn)品的制造過程或所述柔性制造系統(tǒng)的效率的額外輸入的和優(yōu)先化的優(yōu)化標(biāo)準(zhǔn)，通過計算在一個時間t處包含關(guān)于所述柔性制造系統(tǒng)的全部狀態(tài)信息的所述狀態(tài)矩陣(200)的下一轉(zhuǎn)換狀態(tài)，作為用于選擇將所述增強學(xué)習(xí)系統(tǒng)轉(zhuǎn)換到時間t+1處的下一步驟的下一轉(zhuǎn)換的基礎(chǔ)，使用所述狀態(tài)矩陣(200)中所包含的信息，其中，所述全部狀態(tài)信息被用作所述增強學(xué)習(xí)系統(tǒng)的輸入信息。

9.根據(jù)前述權(quán)利要求中任一項所述的方法，其特征在于，對于所述增強學(xué)習(xí)系統(tǒng)的訓(xùn)練，所述矩陣的初始狀態(tài)顯示完整的作業(yè)列表(JL)和經(jīng)定義的產(chǎn)品位置，并且終止?fàn)顟B(tài)被表征為空的作業(yè)列表(JL)。

10.一種用于自學(xué)習(xí)被至少用于生產(chǎn)產(chǎn)品的柔性制造系統(tǒng)(500)的制造調(diào)度的增強學(xué)習(xí)系統(tǒng)，

其中，所述制造系統(tǒng)由以處理實體(C，C1,...)而互連的加工實體(M1，M2，...M6)構(gòu)成；

其中，學(xué)習(xí)過程的輸入包含所述柔性制造系統(tǒng)的模型(100)；

其中，所述模型至少表示所述柔性制造系統(tǒng)的行為與決策制定，其中，根據(jù)權(quán)利要求1至9中任一項所述的方法，所述模型(100)被實現(xiàn)為狀態(tài)矩陣(200)。