[發(fā)明專利]動態(tài)優(yōu)化加工過程中物流調(diào)度及路徑規(guī)劃的強(qiáng)化學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 201910651729.8
• 申請日: 2019-07-18
• 公開（公告）號: CN110443412B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計）人: 張云;郭飛;周華民;黃志高;李德群
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/08;G06Q50/04;G06N3/08
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 尚威;李智

本發(fā)明公開了一種動態(tài)優(yōu)化加工過程中物流調(diào)度及路徑規(guī)劃的強(qiáng)化學(xué)習(xí)方法，屬于智能制造領(lǐng)域。該方法包括：構(gòu)建某時刻物流調(diào)度的總狀態(tài)矩陣作為神經(jīng)網(wǎng)絡(luò)的輸入，根據(jù)一次加工過程中所有作業(yè)單元等待物料的總時長及AGV小車的沖突次數(shù)總數(shù)構(gòu)建獎懲值，并據(jù)此建立神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以使最終一次加工過程中得到的獎懲值最大化，獲得強(qiáng)化學(xué)習(xí)決策模型；然后針對新的加工任務(wù)，實時建立當(dāng)前時刻的總狀態(tài)矩陣，并輸入強(qiáng)化學(xué)習(xí)決策模型，獲得當(dāng)前時刻AGV小車應(yīng)執(zhí)行的動作。本發(fā)明能夠?qū)崿F(xiàn)AGV小車在加工過程中的自主最優(yōu)路徑規(guī)劃，解決現(xiàn)有技術(shù)不能在加工過程中實時動態(tài)進(jìn)行物流調(diào)度方案自動調(diào)整的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明屬于智能制造領(lǐng)域，更具體地，涉及一種動態(tài)優(yōu)化加工過程中物流調(diào)度及路徑規(guī)劃的強(qiáng)化學(xué)習(xí)方法。

背景技術(shù)

在模具、鋰電裝備等加工密集型、離散性制造領(lǐng)域，其制造過程包含一些系列復(fù)雜、多工序、耦合的加工工藝，是定制化、小批量、大規(guī)模多品種的制造。在其加工過程中，物料、零部件、設(shè)備等資源多樣化且具有廣泛的動態(tài)特性。因此，加工過程中物料資源的管理和供應(yīng)效率直接影響到制造過程的效率，具有不可忽視的重要性。

在物流調(diào)度過程中，AGV小車根據(jù)生產(chǎn)訂單中的物料計劃對加工過程中不同作業(yè)單元間進(jìn)行送料取料的運(yùn)輸任務(wù)。小車輸送效率會影響設(shè)備利用率，同時其路徑規(guī)劃的復(fù)雜度受作業(yè)單元布局的拓?fù)浣Y(jié)構(gòu)影響。當(dāng)前的技術(shù)大多數(shù)是通過將物流調(diào)度及路徑規(guī)劃問題抽象為旅行商模型(TSP模型)，并采用遺傳算法、模擬退火、蟻群算法等啟發(fā)式搜索算法進(jìn)行物流調(diào)度的最優(yōu)路徑規(guī)劃。

但是，這類方法專注于優(yōu)化靜態(tài)模型，忽略了實際加工過程中的動態(tài)特性，如生產(chǎn)計劃變更、運(yùn)輸中AGV小車路徑?jīng)_突、作業(yè)單元的臨時變化、停工等，因此在應(yīng)用過程中魯棒性不佳，目前并沒有有效的方法對加工過程中物流調(diào)度及路徑規(guī)劃的動態(tài)優(yōu)化。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種動態(tài)優(yōu)化加工過程中物流調(diào)度及路徑規(guī)劃的強(qiáng)化學(xué)習(xí)方法，其目的在于，基于加工過程中AGV小車、作業(yè)單元、物料倉庫的拓?fù)浣Y(jié)構(gòu)及動態(tài)特性，構(gòu)建和訓(xùn)練強(qiáng)化學(xué)習(xí)決策模型，實現(xiàn)AGV小車在加工過程中的自主最優(yōu)路徑規(guī)劃，由此解決現(xiàn)有技術(shù)中的調(diào)度模型忽略多工序加工過程中的動態(tài)特性，不能在加工過程中實時動態(tài)進(jìn)行物流調(diào)度方案自動調(diào)整的技術(shù)問題。

為實現(xiàn)上述目的，按照本發(fā)明，提供了一種動態(tài)優(yōu)化加工過程中物流調(diào)度及路徑規(guī)劃的強(qiáng)化學(xué)習(xí)方法，包括離線訓(xùn)練階段和在線檢測階段，其中：

離線訓(xùn)練階段包括：

(1)按照時間順序?qū)σ淮渭庸み^程中的每個時刻構(gòu)建相應(yīng)的狀態(tài)矩陣及關(guān)系矩陣，包括：

將每個作業(yè)單元的運(yùn)行、缺物料和停止?fàn)顟B(tài)用一個3維向量表示，得到作業(yè)單元的狀態(tài)矩陣s_M；

每輛AGV小車的就緒、運(yùn)出、運(yùn)回、停止?fàn)顟B(tài)用一個4維向量表示，得到AGV小車的狀態(tài)矩陣s_A；其中，運(yùn)出是指AGV小車從原材料倉儲單元運(yùn)往作業(yè)單元，運(yùn)回是指小車從作業(yè)單元運(yùn)回半成品倉儲單元；某一AGV小車處于就緒狀態(tài)時，對應(yīng)的作業(yè)單元可以接受該AGV小車送達(dá)的原材料；

根據(jù)車間的原材料倉儲單、半成品倉儲單元和作業(yè)單元的位置，以及AGV小車可運(yùn)行的路徑，構(gòu)建車間的二維拓?fù)浣Y(jié)構(gòu)關(guān)系矩陣；

(2)將步驟(1)中的任意時刻的狀態(tài)矩陣和關(guān)系矩陣共同構(gòu)建該時刻對應(yīng)的總狀態(tài)矩陣；

(3)建立獎懲機(jī)制，根據(jù)一次加工過程中所有作業(yè)單元等待物料的總時長及AGV小車的沖突次數(shù)總數(shù)構(gòu)建獎懲值R；

(4)將步驟(2)的總狀態(tài)矩陣作為輸入，將AGV小車從當(dāng)前狀態(tài)運(yùn)動到下一狀態(tài)的動作a作為輸出，利用步驟(3)的獎懲值構(gòu)建損失函數(shù)，對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以使最終一次加工過程中得到的獎懲值R最大化，獲得強(qiáng)化學(xué)習(xí)決策模型；