[發明專利]一種考慮前視距離的相容工件族的優化控制方法

有效

• 申請號: 201710404186.0
• 申請日: 2017-06-01
• 公開（公告）號: CN107024867B
• 公開（公告）日: 2019-10-25
• 發明（設計）人: 譚琦;肖奕霖;胡知強;唐昊
• 申請（專利權）人: 合肥工業大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種考慮前視距離的相容工件族的優化控制方法，其特征是，所述優化控制方法是應用于由傳送帶上傳送的M種工件、自動撿取裝置、M個緩沖庫、容量為K的批處理機和紅外線感知器所構成的單機生產系統中；所述M種工件分別屬于M個不同的工件族，并對所述的M個工件族按加工率降序排序；任意第m個緩沖庫的容量記為N_m，并用于存儲屬于第m個工件族的工件；假設所述第m個緩沖庫中存儲的工件數為n_m，n_m∈[0,N_m]；由M個緩沖庫中存儲的工件個數構成所述單機生產系統的聯合狀態s＝(n₁,n₂,…,n_m,…,n_M)；M≥2；

所述紅外線感知器設置在傳送帶的末端，以所述紅外線感知器所在的位置為起點，并以朝向傳送帶的一段傳送距離作為前視距離l_max表示最大前視距離；

定義選擇加工工件族動作為p_m表示所述批處理機加工由前m個工件族所構成的批；

由所述前視距離和選擇加工工件族動作構成的聯合動作且v_S∈D＝D¹×D²；D表示所述單機生產系統的動作空間；

定義決策時刻為批處理機為空閑狀態且有工件到達緩沖庫，或批處理機完成加工的時刻；

所述優化控制方法是按如下步驟進行：

步驟1、定義變量k，并初始化k＝1；定義初始決策時刻為第k-1個決策時刻；

定義Q值表中的元素為狀態-動作對值是以系統的狀態為Q值表的行，以系統的動作為Q值表的列而形成的，即Q值表中，s₁表示的是狀態空間中第一個狀態(0,0,…,0,…,0)，s_A為狀態空間中最后一個狀態(N₁,N₂,…,N_m,…,N_M)，v₁表示的是動作空間中第一個動作(0,p₁)，v_B為動作空間中最后一個動作(∞,p_m)；

初始化初始決策時刻的Q值表，使得Q值表中除狀態(0,0,…,0,…,0)行，動作列，以及狀態動作列所對應的Q值表元素為“INF”外，Q值表中其他的元素均為“0”；其中，若Q(s_a,v_b)為“INF”表示是在狀態s_a下，動作v_b不可取；

步驟2、利用強化學習算法得到最優Q值表；

步驟2.1、定義計數器為g，并初始化g＝1；定義最大學習次數為G；定義貪心概率ε；

步驟2.2、在第k-1個決策時刻，系統的聯合狀態為根據ε-貪心算法選擇動作：以貪心概率ε選擇當前Q值表中狀態s_k-1對應的最優動作，以1-ε的概率隨機選擇動作空間D中的其他動作；

產生一個隨機數，若所述隨機數屬于(0,ε)，則執行所述最優動作，若所述隨機數屬于(ε,1)，則執行所述其他動作，從而得到第k-1個決策時刻轉移到第k個決策時刻轉移樣本軌道其中，Δ_k為第k-1個決策時刻與第k個決策時刻的時間間隔，為第k-1個決策時刻轉移到第k個決策時刻的過程中第w個工件到達相應的緩存庫后的時刻與第k個決策時刻之間的存儲時間，L^k表示第k-1個決策時刻轉移到第k個決策時刻過程中傳送帶上流失工件數的流失代價；

步驟2.3、利用式(1)計算第k-1個決策時刻轉移到第k個決策時刻過程中的即時代價R_k-1,k：

式(1)中，為第k-1個決策時刻轉移到第k個決策時刻過程中，緩沖庫內所有工件的存儲代價；為第k-1個決策時刻轉移到第k個決策時刻過程中，到達緩沖庫工件的累計存儲代價；β表示所述流失代價L^k的權重；

步驟2.4、利用式(2)對第k-1個決策時刻的狀態-動作對值進行更新，并令g+1賦值給g：

式(2)中，α為學習步長；d_k-1表示差分公式，并有：

式(3)中，v表示所述動作空間D中的任一動作；

步驟2.5、判斷g>G是否成立，若成立，表示學習結束，并得到最優Q值表；否則，令k+1賦值給k后，返回步驟2.2；

步驟3、在第k+g個決策時刻，系統的聯合狀態若所有緩沖庫為空，則等待下個工件到達并存入相應緩沖庫中，否則，根據所述狀態s_k+g查找所述最優Q值表，從而選擇相應的前視距離和選擇加工工件族動作

步驟4、判斷第k+g個決策時刻的前視距離內是否有工件，若有工件，則等待相應工件到達并存入對應的緩沖庫中，否則，根據第k+g個決策時刻的選擇加工工件族動作選擇相應的批送入批處理機中進行加工，并等待加工完成；

步驟5、令k+g+1賦值給k+g，并返回步驟3。