[發(fā)明專利]基于Keras的作業(yè)車間調(diào)度方法

有效

• 申請?zhí)枺?/td>: 202011597378.6
• 申請日: 2020-12-29
• 公開（公告）號: CN112598309B
• 公開（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 王萬良;胡丹蕾;李國慶;臧澤林
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵

基于Keras的作業(yè)車間調(diào)度方法，包括：(1)定義作業(yè)車間調(diào)度問題；(2)構(gòu)建網(wǎng)絡(luò)模型；(3)加載作業(yè)車間調(diào)度問題的DQN類。本發(fā)明融合了神經(jīng)網(wǎng)絡(luò)和Q學(xué)習(xí)的方法來對作業(yè)車間調(diào)度問題進(jìn)行優(yōu)化。將作業(yè)車間調(diào)度在實(shí)際應(yīng)用中狀態(tài)和動(dòng)作當(dāng)作神經(jīng)網(wǎng)絡(luò)的輸入，然后經(jīng)過神經(jīng)網(wǎng)絡(luò)分析后得到動(dòng)作的Q值，可以極大的優(yōu)化計(jì)算機(jī)內(nèi)存，且可以使原本更加復(fù)雜的問題變得簡單。深度Q學(xué)習(xí)算法的經(jīng)驗(yàn)回放機(jī)制，可以將智能體于環(huán)境交互產(chǎn)生的經(jīng)驗(yàn)數(shù)據(jù)依次存儲到固定大小的經(jīng)驗(yàn)池中，算法每次迭代時(shí)從經(jīng)驗(yàn)池中隨機(jī)抽取一個(gè)小批量的數(shù)據(jù)來學(xué)習(xí)，這種從經(jīng)驗(yàn)池中隨機(jī)抽取數(shù)據(jù)的方式打破了原本序列數(shù)據(jù)的強(qiáng)相關(guān)性，提高了算法的穩(wěn)定性，并且提高了數(shù)據(jù)的利用效率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于Keras的深度Q學(xué)習(xí)算法應(yīng)用于作業(yè)車間調(diào)度問題。

背景技術(shù)

近年來，制造業(yè)在國民經(jīng)濟(jì)增長中占有重要的地位，在GDP中占有相當(dāng)?shù)谋壤０殡S著中國經(jīng)濟(jì)的轉(zhuǎn)型期，中國的制造業(yè)也從以往的勞動(dòng)密集型向技術(shù)密集型進(jìn)行轉(zhuǎn)換，智能裝備在其中起到了舉足輕重的作用。在制造業(yè)研究的眾多領(lǐng)域中，作業(yè)車間調(diào)度優(yōu)化問題是最基本，也是研究得較為深入的問題之一。雖然人類對作業(yè)車間調(diào)度問題進(jìn)行了許多年的研究，也取得了大量的成果，但是隨著研究的深入，理論結(jié)果與實(shí)際結(jié)果之間還存在著明顯的差別。作業(yè)車間調(diào)度問題可以簡單的描述如下：給定一組工件和機(jī)器，每個(gè)工件都包含若干道給定的按先后次序加工的工序，每道工序需要占用某一臺機(jī)器進(jìn)行加工，問題需要滿足3個(gè)約束條件：

1)某道工序的加工一旦開始,就不能中途停止

2)每個(gè)工件的工序加工先后次序是預(yù)先給定的,在工序被安排到機(jī)器上進(jìn)行加工時(shí)不能改變

3)每臺機(jī)器在任意時(shí)刻最多只能加工一個(gè)工序

發(fā)明內(nèi)容

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于Keras的作業(yè)車間調(diào)度問題的深度Q學(xué)習(xí)算法，這是一種融合了神經(jīng)網(wǎng)絡(luò)和Q學(xué)習(xí)的方法來對作業(yè)車間調(diào)度問題進(jìn)行優(yōu)化。當(dāng)今世界的問題太過復(fù)雜，如果使用傳統(tǒng)的表格形式來存儲每一個(gè)狀態(tài)和在這個(gè)狀態(tài)每個(gè)行為所擁有的Q值，恐怕是有再大內(nèi)存的計(jì)算機(jī)都不夠，而且每次在這么大的表格中搜索對應(yīng)的狀態(tài)也是一件非常耗時(shí)的事情。但是神經(jīng)網(wǎng)絡(luò)卻對解決這種問題很有優(yōu)勢，我們可以將狀態(tài)和動(dòng)作當(dāng)作神經(jīng)網(wǎng)絡(luò)的輸入，然后經(jīng)過神經(jīng)網(wǎng)絡(luò)分析后得到動(dòng)作的Q值，這樣就沒有必要在表格中記錄Q值了。同時(shí)深度Q學(xué)習(xí)算法的經(jīng)驗(yàn)回放機(jī)制，將智能體于環(huán)境交互產(chǎn)生的經(jīng)驗(yàn)數(shù)據(jù)依次存儲到固定大小的經(jīng)驗(yàn)池中，算法每次迭代時(shí)從經(jīng)驗(yàn)池中隨機(jī)抽取一個(gè)小批量的數(shù)據(jù)來學(xué)習(xí)，它能學(xué)習(xí)當(dāng)前經(jīng)歷的，也能學(xué)習(xí)過去經(jīng)歷的，甚至是學(xué)習(xí)別人的經(jīng)歷，這種從經(jīng)驗(yàn)池中隨機(jī)抽取數(shù)據(jù)的方式打破了原本序列數(shù)據(jù)的強(qiáng)相關(guān)性，提高了算法的穩(wěn)定性，并且提高了數(shù)據(jù)的利用效率。

本發(fā)明是一種基于Keras的作業(yè)車間調(diào)度方法，包括以下步驟：S1.定義作業(yè)車間調(diào)度問題，具體包括：

S11.初始化函數(shù)；

S12.定義獲取工件工序可能位置信息類，遍歷這個(gè)時(shí)間線，返回工件加工工序的可能位置；

S13.定義獲取工件工序特征類，返回當(dāng)前工件處理某個(gè)工序的狀態(tài)特征，用戶可以更改該特征以獲得更強(qiáng)大的模型；

S14.定義行動(dòng)步驟類，由主函數(shù)DQN類調(diào)用，返回當(dāng)前狀態(tài)信息輸入相應(yīng)的動(dòng)作并返回狀態(tài)得分并完成；選擇要處理的工件處理；返回下一個(gè)狀態(tài)信息；

S15.定義作業(yè)車間調(diào)度問題類，穩(wěn)定的作業(yè)車間調(diào)度問題或者隨機(jī)作業(yè)車間調(diào)度問題；

S16.定義行動(dòng)管理類，計(jì)算加工工件工序的處理時(shí)間并返回全部完工時(shí)間；S2.構(gòu)建網(wǎng)絡(luò)模型，具體包括：

S21.選擇Sequential序列模型；

S22.添加4層全連接層，輸出大小為24，激活函數(shù)為relu，添加一層linear激活層，輸出大小為1，打印出模型概況；