[發(fā)明專利]一種并行優(yōu)化的強(qiáng)化學(xué)習(xí)自適應(yīng)PID控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711325553.4
• 申請(qǐng)日: 2017-12-13
• 公開（公告）號(hào): CN108008627B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 孫歧峰;任輝;段友祥;李洪強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)石油大學(xué)（華東）
• 主分類號(hào): G05B11/42
• 分類號(hào): G05B11/42;G05B13/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公布了一種并行優(yōu)化的強(qiáng)化學(xué)習(xí)自適應(yīng)PID控制方法，其特征在于包括以下步驟：步驟S1：運(yùn)用matlab軟件，通過(guò)零階保持器法將傳遞函數(shù)離散化，初始化控制器參數(shù)和M個(gè)控制線程進(jìn)行并行學(xué)習(xí)；步驟S2：定義輸入信號(hào)傳遞給S1中的傳遞函數(shù)，計(jì)算輸出值，將輸入與輸出信號(hào)的差值作為控制算法的輸入向量；步驟S3：將輸入向量傳遞給改進(jìn)的自適應(yīng)PID控制器進(jìn)行訓(xùn)練，迭代N次后得到訓(xùn)練好的模型；步驟S4：使用訓(xùn)練好的模型進(jìn)行控制測(cè)試，記錄輸入、輸出信號(hào)，PID參數(shù)的變化值；步驟S5：可視化測(cè)試數(shù)據(jù)，控制效果對(duì)比。該發(fā)明較好地解決了以往自適應(yīng)PID存在的問(wèn)題，利用A3C學(xué)習(xí)的多線程并行學(xué)習(xí)的特性，提高了算法的穩(wěn)定性和學(xué)習(xí)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種自適應(yīng)PID控制方法，屬于控制類技術(shù)領(lǐng)域，具體地說(shuō)是一種基于并行優(yōu)化的執(zhí)行器評(píng)價(jià)器的改進(jìn)的自適應(yīng)PID(比例-積分-微分)控制算法。

背景技術(shù)

PID(Proportional/Integral/Differential；比例/積分/微分)控制系統(tǒng)，是一種線性控制器，依據(jù)偏差原理進(jìn)行控制的，由于它的原理簡(jiǎn)單、魯棒性強(qiáng)、整定簡(jiǎn)單以及不需要得到對(duì)象的精確數(shù)學(xué)模型等優(yōu)點(diǎn)，已成為工業(yè)控制中最常用的一種控制系統(tǒng)。在PID控制系統(tǒng)參數(shù)整定的工程實(shí)踐中，特別是關(guān)于線性、時(shí)不變、弱時(shí)滯系統(tǒng)的PID控制參數(shù)整定的工程實(shí)踐中，傳統(tǒng)整定方法取得了豐富的經(jīng)驗(yàn)，并得到廣泛的應(yīng)用。然而在實(shí)際工業(yè)過(guò)程控制工程實(shí)踐中，許多被控制對(duì)象具有時(shí)變不確定性、純滯后等特征，控制過(guò)程機(jī)理較復(fù)雜；在噪聲、負(fù)載擾動(dòng)等因素的影響下，過(guò)程參數(shù)、甚至模型結(jié)構(gòu)，均會(huì)發(fā)生變化。由此要求在PID參數(shù)能夠?qū)崿F(xiàn)在線調(diào)整以滿足實(shí)時(shí)控制的要求。此種情況下，傳統(tǒng)參數(shù)整定方法則難以滿足工程實(shí)踐的要求，顯現(xiàn)出很大的局限性。

自適應(yīng)PID控制技術(shù)是解決此類問(wèn)題的一種有效途徑。自適應(yīng)PID控制模型吸取了自適應(yīng)控制思想和常規(guī)PID控制器兩者的優(yōu)點(diǎn)。首先，它是自適應(yīng)控制器，具有自動(dòng)辨識(shí)被控過(guò)程、自動(dòng)整定控制器參數(shù)、能夠適應(yīng)被控過(guò)程參數(shù)變化等優(yōu)點(diǎn)；其次，又具有常規(guī)PID控制器結(jié)構(gòu)簡(jiǎn)單、魯棒性好、可靠性高等優(yōu)點(diǎn)。由于具有此種優(yōu)勢(shì)，使其成為工程實(shí)踐中的一種理想的工業(yè)過(guò)程控制裝置。自適應(yīng)PID控制被提出后，便受到了廣泛學(xué)者的研究，相繼提出了模糊自適應(yīng)PID控制器，神經(jīng)網(wǎng)絡(luò)自適應(yīng)PID控制器，Actor-Critic自適應(yīng)PID控制器。

例如文獻(xiàn)1：劉國(guó)榮,陽(yáng)憲惠.模糊自適應(yīng)PID控制器[J].控制與決策,1995(6).中提出了基于模糊規(guī)則的自適應(yīng)PID控制器，其主要思想是：當(dāng)系統(tǒng)給定突變、出現(xiàn)狀態(tài)干擾或結(jié)構(gòu)干擾時(shí)，其瞬態(tài)響應(yīng)可以分為9種情況，當(dāng)在每個(gè)采樣時(shí)刻獲得了系統(tǒng)響應(yīng)后，就可以根據(jù)此時(shí)刻系統(tǒng)響應(yīng)偏離給定的情況及變化趨勢(shì)，依據(jù)已有的系統(tǒng)控制知識(shí)，運(yùn)用模糊控制方法，適當(dāng)加大控制力度或減小控制力度，以扼制響應(yīng)朝偏離給定的方向變化，使輸出盡快趨于給定。但是這種控制方法需要專業(yè)人員的經(jīng)驗(yàn)和參數(shù)優(yōu)化才能控制復(fù)雜的系統(tǒng)，模糊規(guī)則設(shè)定的不準(zhǔn)確控制效果則達(dá)不到滿意的效果。

文獻(xiàn)2廖芳芳,肖建.基于BP神經(jīng)網(wǎng)絡(luò)PID參數(shù)自整定的研究[J].系統(tǒng)仿真學(xué)報(bào),2005提出了基于BP神經(jīng)網(wǎng)絡(luò)的自適應(yīng)PID控制，其控制思想是：神經(jīng)網(wǎng)絡(luò)辨識(shí)器將控制偏差傳回到神經(jīng)網(wǎng)絡(luò)自身神經(jīng)元，從而修正其自身權(quán)值，對(duì)象的設(shè)定輸入和對(duì)象的實(shí)際輸出的偏差通過(guò)辨識(shí)器后反向傳播給神經(jīng)網(wǎng)絡(luò)控制器，其利用誤差信號(hào)對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行修正，經(jīng)過(guò)多次學(xué)習(xí)，便能逐漸跟上系統(tǒng)的變化。該方法一般采用監(jiān)督學(xué)習(xí)進(jìn)行參數(shù)優(yōu)化，但是教師信號(hào)難以獲取。

文獻(xiàn)3陳學(xué)松,楊宜民.基于執(zhí)行器-評(píng)價(jià)器學(xué)習(xí)的自適應(yīng)PID控制[J].控制理論與應(yīng)用,2011提出了一種Actor-Critic結(jié)構(gòu)的自適應(yīng)PID控制。該控制思想為：利用AC學(xué)習(xí)的無(wú)模型在線學(xué)習(xí)能力，對(duì)PID參數(shù)進(jìn)行自適應(yīng)調(diào)整，采用一個(gè)RBF網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)Actor的策略函數(shù)和Critic的值函數(shù)學(xué)習(xí)，解決了傳統(tǒng)PID控制器不易在線實(shí)時(shí)整定參數(shù)的不足，且具有響應(yīng)速度自適應(yīng)能力強(qiáng)等優(yōu)點(diǎn)。但是AC學(xué)習(xí)結(jié)構(gòu)本身的不穩(wěn)定性往往導(dǎo)致算法難以收斂。