[發明專利]一種基于強化學習的液壓挖掘機系統流量匹配優化方法

有效

• 申請號: 202210001563.7
• 申請日: 2022-01-04
• 公開（公告）號: CN114351785B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 劉偉嵬;張靖文;鄧劍洋;宋學官;桑勇;曹旭陽;李國鋒;牛東東;羅旋;康杰;孫偉奇
• 申請（專利權）人: 大連理工大學;徐州徐工挖掘機械有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;E02F9/20;E02F9/22
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 劉秋彤;梅洪玉

1.一種基于強化學習的液壓挖掘機系統流量匹配優化方法，其特征在于，步驟如下：

步驟1、挖掘信號的采集及預處理

在輕載、中載、重載三種不同負載功率下進行預挖掘，采集數據：液壓泵壓力信號、溢流閥流量信號、液壓泵流量信號、電磁閥電流信號；預處理采集的數據：利用采集的數據繪制信號波形圖，利用低通濾波器過濾干擾信號，對波形曲線進行模糊處理；

步驟2、系統環境模型的建立

系統環境模型包括三種負載功率，每種負載功率包括五種工作階段；三種負載功率為輕載、中載和重載；五種工作階段是由預處理后的數據根據波形進行圖像劃分獲得的，包括挖掘、提升回轉、卸載、空斗返回和挖掘準備；

對于每個信號數據，選取步驟1預處理后的數據中可用的波形區段，在可用波形區段中對應同時間點的電磁閥電流-液壓泵壓力-溢流閥流量；在對應后數據中，劃分得到不同負載功率下不同工作階段的電磁閥電流總區間；

系統環境模型依據三種負載功率及其五種工作階段搭建成15×n型的矩陣；n表示在某一負載功率中某一工作階段電磁閥電流總區間基礎上，劃分的某一負載功率中某一工作階段電磁閥電流劃分的區間數量；

步驟3、智能體利用獎勵機制尋找最佳控制電流

將液壓泵作為智能體，通過Amesim搭建一個液壓系統；

1)對于某一負載功率中某一工作階段，電磁閥電流總區間為[i₁-i_h]，將[i₁-i_h]劃分為n個子區間，[i₁-i₂]、[i₂-i₃]、…、[i_h-1-i_h]

2)第一次隨機選擇一個子區間，通過液壓泵數學模型計算得到該子區間下的液壓泵流量值，將液壓泵流量值輸入液壓系統中，在液壓系統中模擬挖掘機在某一負載功率中某一工作階段的動作，獲得溢流閥流量；

其中液壓泵數學模型為：

該模型表明：電磁閥電流i在(0,m]區間內，液壓泵流量為一常數值q₁；電磁閥電流i在(m，n]區間內，液壓泵流量隨電流值呈一次函數變化；電磁閥電流i在(n，h]區間內,液壓泵流量為一常數值q₂；

3)再次重復步驟(2)，但是該次隨機選擇的子區間與步驟(2)的不同；

4)計算步驟2)和步驟3)所得溢流閥流量的差值，通過獎勵機制判斷步驟3)選取子區間方向的正確性；正確則繼續往該方向選取，否則反方向選??；

5)重復步驟2)至4)，最終獲得最佳溢流閥流量；

6)根據最佳溢流閥流量對應的電磁閥電流子區間最為最佳值；三種負載功率及其五種工作階段共優選出15個電磁閥電流子區間；

所述的獎勵機制：

選定溢流流量作為反饋，以溢流閥流量差值ΔQ_x-y＝Q_x-Q_y作為反饋的評價標準；其中，Q_x表示智能體隨機第x次選取的電流區間對應輸出的溢流閥流量，Q_y表示智能體隨機第x+1次選取的電流區間對應輸出的溢流閥流量；

要求智能體隨機選取的初始電磁閥電流子區間對應輸出的初始溢流流量值Q₁大于0；若智能體隨機選取的初始電流區間對應輸出的初始溢流流量Q₁為0值，則強制智能體重新隨機選擇初始電流區間，直至符合要求；

Q_y不等于0時，溢流閥流量差值為正數，溢流流量有所降低，給智能體一個+1獎勵，讓智能體以該方向為基準，不斷迭代數據；反之，給予-1懲罰，讓智能體此后略過該類非最優的電流信號區間并反向尋找最佳電流電流區間；

Q_y等于0時，溢流閥流量差值為正數，則給智能體0數值的反饋，令智能體以該方向重新隨機選取做對比的電流區間；

直到找到保證溢流閥開啟狀態下的最小溢流閥流量時對應的電流區間作為最佳控制電流區間；

步驟4、控制器的信道設置

對挖掘機的PLC控制器進行信道設置：在控制器中嵌入溢流閥流量信號、手柄信號、液壓泵壓力信號的接收信道，使控制器能通過相應的溢流閥流量、液壓泵壓力信號、手柄信號選擇合適的電磁閥控制電流；控制器的控制過程如下：

1)挖掘機開始作業，操作員操縱油門與手柄，液壓系統啟動過流，溢流閥初次開啟；

2)控制器接收液壓泵壓力信號確定負載功率，接收手柄信號確定工作階段；根據步驟3計算得到的優選出15個電磁閥電流子區間，來選取該負載功率下該工作階段控制電磁閥的最佳電磁閥電流子區間；

3)液壓泵接收新的電磁閥控制，改變輸出流量，液壓系統作用后，液壓油經溢流閥返回，獲得控制后的溢流流量；

4)將控制前后的溢流流量進行對比，如若溢流流量的控制變化效果達到人員設定要求即可投入長期使用，若效果不佳則需要重新進行離線控制器的內部環境中參數n的調整，直至符合要求。