[發(fā)明專利]一種利用線性系統(tǒng)數(shù)據(jù)解決工業(yè)控制最優(yōu)跟蹤控制方法

在審

• 申請?zhí)枺?/td>: 202011015464.1
• 申請日: 2020-09-24
• 公開（公告）號: CN112286052A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 李金娜;張一晗;林玉英;王春彥;閆立鵬
• 申請（專利權(quán)）人: 遼寧石油化工大學(xué)
• 主分類號: G05B13/04
• 分類號: G05B13/04;G05B13/02
• 代理公司: 沈陽技聯(lián)專利代理有限公司 21205
• 代理人: 張志剛

一種利用線性系統(tǒng)數(shù)據(jù)解決工業(yè)控制最優(yōu)跟蹤控制方法，涉及一種工業(yè)控制最優(yōu)跟蹤控制方法，本發(fā)明通過最小化包含跟蹤參考信號目標的函數(shù)，來尋找一種最優(yōu)控制率來保證對參考信號的跟蹤。發(fā)明主要針對最優(yōu)控制器需要精確的系統(tǒng)模型問題，設(shè)計了一種在不需要系統(tǒng)動力學(xué)知識的情況下，就可以學(xué)習(xí)到最優(yōu)跟蹤控制器增益方法。該發(fā)明主要優(yōu)點是利用輸入、輸出和它們的過去值等測量增廣變量來跟蹤誤差，在得到近似最優(yōu)跟蹤控制器的同時，不需要設(shè)計狀態(tài)觀測器。并且使用在該控制器下，所考慮的系統(tǒng)可以通過最優(yōu)方法跟蹤參考信號，此技術(shù)可以在工業(yè)過程被控系統(tǒng)難以精確建模以及系統(tǒng)狀態(tài)測量成本高或者不可測的情況下,對控制器進行設(shè)計。

技術(shù)領(lǐng)域

本發(fā)明涉及一種工業(yè)控制最優(yōu)跟蹤控制方法，特別是涉及一種利用線性系統(tǒng)數(shù)據(jù)解決工業(yè)控制最優(yōu)跟蹤控制方法。

背景技術(shù)

通過最小化包含跟蹤誤差的特定性能指標，尋找一種最優(yōu)控制律來保證對參考信號的跟蹤。這是具有廣泛工業(yè)、醫(yī)療、航空等應(yīng)用的控制論的基本問題，最優(yōu)跟蹤控制的豐富成果確實為今后的一系列研究奠定了基礎(chǔ)。據(jù)公開文獻所知，系統(tǒng)狀態(tài)不可用的無模型最優(yōu)跟蹤控制問題尚未得到充分研究。然而，請注意，在設(shè)計最優(yōu)控制器時，開創(chuàng)性的工作需要精確的系統(tǒng)模型，而這一要求在實踐中很少可用。在過去的幾十年中，由于數(shù)據(jù)驅(qū)動強化學(xué)習(xí)(RL)能夠通過與未知環(huán)境的交互作用來找到最優(yōu)解，因此在過去的幾十年里，它引起了越來越多的關(guān)注。在實際中很難獲得系統(tǒng)模型參數(shù)或系統(tǒng)狀態(tài)，工業(yè)過程被控系統(tǒng)難以精確建模，并且系統(tǒng)狀態(tài)測量成本高或者不可測，所以利用輸入、輸出和它們的過去值等測量增廣變量來進行跟蹤是非常必要的。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種利用線性系統(tǒng)數(shù)據(jù)解決工業(yè)控制最優(yōu)跟蹤控制方法，本發(fā)明提出一種完全數(shù)據(jù)驅(qū)動的離散線性系統(tǒng)最優(yōu)跟蹤控制器智能設(shè)計方案，利用輸入、輸出和它們的過去值等測量增廣變量來進行跟蹤，解決工業(yè)系統(tǒng)控制器設(shè)計存在問題。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

一種利用線性系統(tǒng)數(shù)據(jù)解決工業(yè)控制最優(yōu)跟蹤控制方法，其特征在于，所述方法包括以下過程：

針對線性離散系統(tǒng)，將Q學(xué)習(xí)應(yīng)用于系統(tǒng)狀態(tài)空間的擴展形式，提出了一種改進的離散時間線性系統(tǒng)數(shù)據(jù)驅(qū)動最優(yōu)跟蹤控制算法，該算法僅通過使用輸入、輸出和測量的值，用來解決擴展狀態(tài)空間模型的線性二次調(diào)節(jié)問題，采用數(shù)據(jù)驅(qū)動的方法；

首先提出最優(yōu)跟蹤控制問題，然后把系統(tǒng)模型改寫成擴展狀態(tài)空間模型，通過設(shè)計差分輸入來尋找最優(yōu)的跟蹤控制策略，在不考慮系統(tǒng)動力學(xué)的情況下使系統(tǒng)的輸出跟隨目標參考信號；

基于最優(yōu)跟蹤控制策略，設(shè)計了基于Q學(xué)習(xí)的最優(yōu)值函數(shù)；

該算法利用測量數(shù)據(jù)，得到近似最優(yōu)跟蹤控制器，在該控制器下，所考慮的系統(tǒng)通過最優(yōu)方法跟蹤參考信號，采用輸出調(diào)節(jié)方法，直接利用測量的差分輸出、差分輸入和跟蹤誤差來學(xué)習(xí)最優(yōu)跟蹤控制策略；首先構(gòu)建關(guān)系矩陣，然后分別定義最優(yōu)值函數(shù)和最優(yōu)Q函數(shù)，根據(jù)穩(wěn)定控制策略得到Q函數(shù)的Bellman方程。

所述的一種利用線性系統(tǒng)數(shù)據(jù)解決工業(yè)控制最優(yōu)跟蹤控制方法，所述基于Q學(xué)習(xí)的最優(yōu)值函數(shù)，其步驟為：

（1）建立合適的關(guān)系矩陣；

（2）根據(jù)穩(wěn)定控制策略進一步優(yōu)化最優(yōu)值函數(shù)，從而得到Q函數(shù)的Bellman方程；

在此基礎(chǔ)上設(shè)計迭代算法。

所述的一種利用線性系統(tǒng)數(shù)據(jù)解決工業(yè)控制最優(yōu)跟蹤控制方法，所述迭代算法，包括以下四個步驟：

（1）進行初始化，給定穩(wěn)定控制器增益；

（2）然后通過求解Q函數(shù)矩陣進行性能評估；

（3）最后進行策略更新：；

（1）（4）當是一個很小的值，停止迭代。