[發明專利]基于強化學習的電機系統H無窮降階輸出跟蹤控制方法

在審

• 申請號: 202310067097.7
• 申請日: 2023-01-30
• 公開（公告）號: CN116208041A
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 周林娜;厲功賀;楊春雨;褚眾;王海;劉曉敏
• 申請（專利權）人: 中國礦業大學
• 主分類號: H02P21/00
• 分類號: H02P21/00;H02P21/14;G06N3/045;G06N3/092
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 潘文龍

本發明公開了基于強化學習的電機系統H無窮降階輸出跟蹤控制方法，可解決含有未建模動態和不完美數據的電機系統干擾抑制跟蹤控制問題。具體包括：利用奇異攝動理論，將原始電機系統H無窮輸出跟蹤控制問題進行分解得到降階系統問題；基于原系統的輸出狀態數據，提出虛擬子系統的狀態重構機制解決虛擬子系統數據不可測的問題，進一步推導基于重構數據的強化學習H無窮輸出跟蹤迭代算法；引入執行?評價?擾動神經網絡近似控制器、性能指標和擾動，基于最小二乘法迭代更新神經網絡的權重，得到基于強化學習的降階H無窮輸出跟蹤控制器。本發明避免了在強化學習框架下設計雙時間尺度電機系統跟蹤控制器時潛在的高維和病態數值問題。

技術領域

本發明屬于電機系統驅動控制領域，具體涉及基于強化學習的電機系統H無窮降階輸出跟蹤控制方法。

背景技術

廣泛存在于電力系統、流程工業等領域的非線性雙時間尺度電機系統，是一類具有高階次、快慢耦合等復雜特性的系統。實際中常常要求系統按照預先設定的參考軌跡運行的同時，具有一定的抗干擾能力。魯棒跟蹤控制的目標就是設計控制器使得系統滿足上述要求，因而受到廣泛研究。

現有的非線性雙時間尺度電機系統跟蹤控制方法主要基于滑模控制、自抗擾控制等。但此類方法都沒有對擾動抑制的定量分析，因此H無窮控制應運而生，成為處理抗擾問題的有效手段。但一般系統的跟蹤控制方法若直接應用在奇異攝動系統中，會造成病態數值問題及維數災難。為此，基于系統分解的可行解決思路被應用在控制此類系統中。雖已有結果引入時間尺度分解來設計非線性雙時間尺度的組合魯棒控制器，但要求系統模型完全已知，虛擬子系統狀態要求完全可測。目前，尚未有動力學未知的非線性雙時間尺度電機系統的H無窮降階輸出跟蹤控制。

實際工業生產過程中，建立系統的精確模型往往比較困難，得益于智能體與環境交互式錯的特性，強化學習在處理無模型控制問題方面具有得天獨厚的優勢，其利用系統輸入輸出數據獲得理想控制律，可解決最優跟蹤控制問題。如今，已經出現了很多方法可在強化學習框架下克服干擾帶來的不利影響。作為一種主流的抗擾方法，基于強化學習的H無窮控制引起了廣泛關注。將H無窮控制問題轉化為零和博弈問題并利用最優控制思想求解已被證明是一種有效的方法。然而，由于雙時間尺度系統具有高維數和快慢動態耦合特性，已有強化學習方法不適用于上述電機系統，甚至會導致迭代學習過程中發生病態數值問題。因此，迫切需要開發一種具有自學習能力的電機系統H無窮降階輸出跟蹤控制方法，在含有未知動態和數據不完美情況下，仍可實現非上述系統的H無窮降階輸出跟蹤控制。

發明內容

發明內容

針對上述存在的技術不足，本發明的目的是提供一種基于強化學習的電機系統H無窮降階輸出跟蹤控制方法，可解決含有未建模動態和不完美數據的電機系統干擾抑制跟蹤控制問題，避免了在強化學習框架下設計雙時間尺度電機系統跟蹤控制器時潛在的高維和病態數值問題。

為解決上述技術問題，本發明采用如下技術方案：

一種基于強化學習的電機系統H無窮降階輸出跟蹤控制方法，用于伺服電機、流程工業等系統，包括以下步驟：

步驟一：利用奇異攝動理論，將原始電機系統H無窮輸出跟蹤控制問題進行分解得到降階問題；

步驟二：基于原系統的輸出狀態數據，提出虛擬子系統的狀態重構機制解決虛擬子系統數據不可測的問題，進一步推導基于重構數據的H無窮輸出跟蹤強化學習迭代算法；

步驟三：引入執行-評價-擾動神經網絡近似控制器、性能指標和擾動，基于最小二乘法迭代更新神經網絡的權重，得到基于強化學習的降階跟蹤控制器。

優選地，步驟一中，電機系統用以下狀態空間模型描述：