[發(fā)明專利]一種基于增強(qiáng)學(xué)習(xí)的串行生產(chǎn)系統(tǒng)生產(chǎn)維護(hù)聯(lián)合優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 202110264883.7
• 申請日: 2021-03-11
• 公開（公告）號: CN113112051B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設(shè)計）人: 靳文瑞;易琦;周炳海
• 申請（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/04;G06K9/62;G06F30/27
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 趙繼明

本發(fā)明涉及一種基于增強(qiáng)學(xué)習(xí)的串行生產(chǎn)系統(tǒng)生產(chǎn)維護(hù)聯(lián)合優(yōu)化方法，包括：通過馬爾可夫鏈表示串行生產(chǎn)系統(tǒng)的系統(tǒng)狀態(tài)，構(gòu)建包括狀態(tài)空間、動作空間、轉(zhuǎn)移矩陣和成本函數(shù)的馬爾科夫模型；采用貪心策略求解馬爾科夫模型，從動作空間中選取維護(hù)策略，構(gòu)建回放記憶數(shù)據(jù)集；采用回放記憶數(shù)據(jù)集對預(yù)先建立的神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，直至達(dá)到預(yù)設(shè)的迭代終止條件；采用訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)，獲取實(shí)際串行生產(chǎn)系統(tǒng)的生產(chǎn)維護(hù)策略。與現(xiàn)有技術(shù)相比，本發(fā)明構(gòu)造馬爾可夫決策過程數(shù)學(xué)模型，可反映生產(chǎn)系統(tǒng)的動態(tài)變化，結(jié)合神經(jīng)網(wǎng)絡(luò)框架和經(jīng)驗(yàn)回放技術(shù)，優(yōu)化了算法的收斂速度和求解能力，可適用于復(fù)雜度高的串行生產(chǎn)系統(tǒng)的動態(tài)決策求解需求。

技術(shù)領(lǐng)域

本發(fā)明涉及串行生產(chǎn)系統(tǒng)領(lǐng)域，尤其是涉及一種基于增強(qiáng)學(xué)習(xí)的串行生產(chǎn)系統(tǒng)生產(chǎn)維護(hù)聯(lián)合優(yōu)化方法。

背景技術(shù)

隨著制造業(yè)信息化發(fā)展，生產(chǎn)系統(tǒng)的改善問題也經(jīng)歷著新的改革變遷。如何利用大量生產(chǎn)數(shù)據(jù)有效優(yōu)化生產(chǎn)系統(tǒng)，降低生產(chǎn)成本，提高產(chǎn)品質(zhì)量已成為學(xué)術(shù)界和制造業(yè)共同關(guān)注的焦點(diǎn)。

串行生產(chǎn)系統(tǒng)是指機(jī)器以串行方式連接，并通過緩沖區(qū)將在制品在機(jī)器間輸送的生產(chǎn)系統(tǒng)。在串行生產(chǎn)系統(tǒng)中，機(jī)器可以指單個機(jī)器或是一組機(jī)器，用來執(zhí)行車、銑、刨、磨等任務(wù)。緩沖區(qū)分為連接生產(chǎn)系統(tǒng)內(nèi)部各機(jī)器的在制品緩沖區(qū)和連接生產(chǎn)系統(tǒng)和外部市場需求的成品緩沖區(qū)。在制品緩沖區(qū)除了有運(yùn)輸?shù)淖饔猛猓€可以用于儲存半成品，以減少系統(tǒng)中某臺機(jī)器停機(jī)對其他機(jī)器生產(chǎn)的影響。成品緩沖區(qū)的作用是過濾不合格產(chǎn)品，保證生產(chǎn)系統(tǒng)能夠可靠地滿足市場需求。除了純粹用于生產(chǎn)的機(jī)器外，生產(chǎn)系統(tǒng)中還有用于質(zhì)量檢測的機(jī)器。在可重入生產(chǎn)系統(tǒng)中，被檢測到的不合格產(chǎn)品會被送到專門的機(jī)器重新加工。在另外的生產(chǎn)系統(tǒng)中，不合格產(chǎn)品會被直接拋棄。

在系統(tǒng)特性方面，同步系統(tǒng)又稱分段時間軸系統(tǒng)，在這種情況下，生產(chǎn)時間加工周期分成多個時間段，機(jī)器和緩沖區(qū)的狀態(tài)，如機(jī)器從生產(chǎn)狀態(tài)變?yōu)橥C(jī)，緩沖區(qū)內(nèi)在制品數(shù)量變化等，都在時間段的開始或末尾同時變化；離散性指在離散時間系統(tǒng)里，一個工件只有在一臺機(jī)器上完成所有加工操作后才會被完整地輸送到下游緩沖區(qū)中。也就是說，緩沖區(qū)的在制品數(shù)量是一個非負(fù)整數(shù)；不可靠性與有限緩沖區(qū)指機(jī)器在生產(chǎn)過程中會出現(xiàn)停機(jī)的情況，停機(jī)時無法繼續(xù)加工，其上游機(jī)器可以繼續(xù)加工直到有限的上游緩沖區(qū)裝滿，其下游機(jī)器也可以繼續(xù)加工直到下游緩沖區(qū)中的在制品消耗空。緩沖區(qū)容量越大，上下游機(jī)器不受停機(jī)影響可以繼續(xù)工作的時間就越長。

為了提高生產(chǎn)和維護(hù)效率并降低生產(chǎn)成本，對聯(lián)合生產(chǎn)維護(hù)計劃進(jìn)行優(yōu)化是制造企業(yè)的重中之重，但目前的生產(chǎn)維護(hù)聯(lián)合優(yōu)化方法缺乏對復(fù)雜的系統(tǒng)動態(tài)變化進(jìn)行深入研究。因此需要在充分考慮生產(chǎn)系統(tǒng)模型的動態(tài)變化的基礎(chǔ)上設(shè)計維護(hù)控制算法，從而找到最優(yōu)維護(hù)控制決策。此外在實(shí)時維護(hù)控制領(lǐng)域，大多數(shù)生產(chǎn)系統(tǒng)的決策依賴于啟發(fā)式算法或臨時規(guī)則，而生產(chǎn)系統(tǒng)的復(fù)雜性使得這些方法難以用來深入優(yōu)化系統(tǒng)性能。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種適用于復(fù)雜的生產(chǎn)系統(tǒng)的策略求解的基于增強(qiáng)學(xué)習(xí)的串行生產(chǎn)系統(tǒng)生產(chǎn)維護(hù)聯(lián)合優(yōu)化方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種基于增強(qiáng)學(xué)習(xí)的串行生產(chǎn)系統(tǒng)生產(chǎn)維護(hù)聯(lián)合優(yōu)化方法，包括以下步驟：

通過馬爾可夫鏈表示串行生產(chǎn)系統(tǒng)的系統(tǒng)狀態(tài)，確定串行生產(chǎn)系統(tǒng)的狀態(tài)轉(zhuǎn)移概率的計算方法，構(gòu)建包括狀態(tài)空間、動作空間、轉(zhuǎn)移矩陣和成本函數(shù)的馬爾科夫模型；

采用貪心策略求解所述馬爾科夫模型，從所述動作空間中選取維護(hù)策略，構(gòu)建回放記憶數(shù)據(jù)集；采用所述回放記憶數(shù)據(jù)集對預(yù)先建立的神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，直至達(dá)到預(yù)設(shè)的迭代終止條件；

采用訓(xùn)練后的所述神經(jīng)網(wǎng)絡(luò)，獲取實(shí)際串行生產(chǎn)系統(tǒng)的生產(chǎn)維護(hù)策略。

進(jìn)一步地，所述系統(tǒng)狀態(tài)的表達(dá)式為：