[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的逆變器優(yōu)化控制方法

有效

• 申請?zhí)枺?/td>: 202110447571.X
• 申請日: 2021-04-25
• 公開（公告）號(hào): CN113131771B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 孫偉;呂秋碩;黃磊;朱世睿;朱夢雨;李奇越;李帷韜
• 申請（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): H02M7/42
• 分類號(hào): H02M7/42;H02M7/48
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開了一種基于強(qiáng)化學(xué)習(xí)的逆變器優(yōu)化控制方法，其步驟包括：1、建立強(qiáng)化學(xué)習(xí)控制模塊和逆變器數(shù)學(xué)模型；2、建立強(qiáng)化學(xué)習(xí)的本地獎(jiǎng)勵(lì)；3、訓(xùn)練進(jìn)行逆變器優(yōu)化控制的強(qiáng)化學(xué)習(xí)模塊；4、應(yīng)用強(qiáng)化學(xué)習(xí)模塊進(jìn)行逆變器優(yōu)化控制。本發(fā)明能克服逆變器產(chǎn)生的系統(tǒng)頻率和電壓偏差問題，從而能有效進(jìn)行頻率恢復(fù)和電壓調(diào)節(jié)，以保證逆變器的穩(wěn)定運(yùn)行。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于強(qiáng)化學(xué)習(xí)的逆變器優(yōu)化控制方法，屬于電力系統(tǒng)領(lǐng)域。

背景技術(shù)

近年來，人們處在一個(gè)“移動(dòng)”的時(shí)代，移動(dòng)辦公，移動(dòng)通訊，移動(dòng)休閑和娛樂。在移動(dòng)的狀態(tài)中，人們不僅需要由電池或電瓶供給的低壓直流電，同時(shí)更需要在日常環(huán)境中不可或缺的220伏交流電，因此對(duì)于逆變器的需求也呈指數(shù)級(jí)增長。一方面，人們不斷開發(fā)新的逆變器類型；另一方面，各種逆變器的優(yōu)化策略也使得逆變器的效率和適用性大大增加。然而，采用傳統(tǒng)的逆變器控制在進(jìn)行電壓轉(zhuǎn)換時(shí)會(huì)產(chǎn)生頻率、電壓幅值偏差甚至?xí)a(chǎn)生環(huán)流等，這已經(jīng)成為影響逆變器功能的精確性和穩(wěn)定性的重大問題。隨著機(jī)器學(xué)習(xí)的發(fā)展，強(qiáng)化學(xué)習(xí)的優(yōu)勢逐漸凸顯出來，它可以智能的根據(jù)環(huán)境提供的強(qiáng)化信號(hào)對(duì)產(chǎn)生動(dòng)作的好壞進(jìn)行評(píng)價(jià)，通過這個(gè)行動(dòng)-評(píng)價(jià)環(huán)境獲得知識(shí)，改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境。

傳統(tǒng)的逆變器控制從工作原理是來看可以認(rèn)為是由開關(guān)三極管和二極管組成，因此存在正向管壓降和開關(guān)延遲時(shí)間，同時(shí)為了防止逆變器上下臂短路，需要在PWM門信號(hào)上設(shè)定死區(qū)時(shí)間。由于這些原因，當(dāng)系統(tǒng)負(fù)荷發(fā)生變化的時(shí)候，不能保證逆變器頻率和電壓穩(wěn)定在額定值。因此，如何在傳統(tǒng)的逆變器控制的基礎(chǔ)上對(duì)逆變器頻率和電壓進(jìn)行優(yōu)化控制成為了研究中的難題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的上述不足之處，本發(fā)明提供一種基于強(qiáng)化學(xué)習(xí)的逆變器優(yōu)化控制方法，以期能克服逆變器產(chǎn)生的系統(tǒng)頻率和電壓偏差問題，并能對(duì)逆變器頻率和電壓進(jìn)行快速優(yōu)化和控制，以保證優(yōu)化控制的精確性和穩(wěn)定性。

本發(fā)明為達(dá)到上述發(fā)明目的，采用如下技術(shù)方案：

本發(fā)明一種基于強(qiáng)化學(xué)習(xí)的逆變器優(yōu)化控制方法的特點(diǎn)在于，包括以下步驟：

步驟1、構(gòu)建逆變器數(shù)學(xué)模型和強(qiáng)化學(xué)習(xí)控制模塊，其中，所述強(qiáng)化學(xué)習(xí)控制模塊包括進(jìn)行策略運(yùn)算的策略體和動(dòng)作執(zhí)行的執(zhí)行體；

步驟1.1、逆變器數(shù)學(xué)模型的建模：

令所述逆變器數(shù)學(xué)模型的輸入為表示所述執(zhí)行體第n次訓(xùn)練時(shí)第t次決定的動(dòng)作；令所述逆變器數(shù)學(xué)模型的輸出狀態(tài)為并反饋給所述執(zhí)行體和策略體，其中，為逆變器數(shù)學(xué)模型執(zhí)行第n次訓(xùn)練時(shí)的第t次動(dòng)作后的下一時(shí)刻的交流頻率，為逆變器數(shù)學(xué)模型執(zhí)行第n次訓(xùn)練時(shí)的第t次動(dòng)作后的下一時(shí)刻的交流電壓；

步驟1.2、強(qiáng)化學(xué)習(xí)控制模塊的建模：

所述強(qiáng)化學(xué)習(xí)控制模塊的策略體由兩層神經(jīng)元網(wǎng)絡(luò)組成，其輸入為狀態(tài)輸出為執(zhí)行所有動(dòng)作集合A的概率π(A)；

所述強(qiáng)化學(xué)習(xí)控制模塊的執(zhí)行體包括交互模塊和獎(jiǎng)勵(lì)計(jì)算模塊；所述交互模塊根據(jù)策略體輸出的概率π(A)，利用隨機(jī)選取的函數(shù)決定實(shí)際執(zhí)行動(dòng)作并輸出給所述逆變器數(shù)學(xué)模型，其中，所述獎(jiǎng)勵(lì)計(jì)算模塊根據(jù)逆變器數(shù)學(xué)模型的狀態(tài)計(jì)算第n次訓(xùn)練時(shí)的第t+1次動(dòng)作的本地獎(jiǎng)勵(lì)r(t+1)ⁿ，并在第n次訓(xùn)練的存儲(chǔ)軌跡τ_n中增加第t+1次動(dòng)作產(chǎn)生的軌跡；

步驟2、根據(jù)逆變器數(shù)學(xué)模型對(duì)強(qiáng)化學(xué)習(xí)控制模塊進(jìn)行訓(xùn)練；

步驟2.1、在所述策略體的兩層神經(jīng)網(wǎng)絡(luò)中，用θ代表兩層神經(jīng)網(wǎng)絡(luò)的參數(shù)集合，并隨機(jī)初始化；定義策略體的第n次訓(xùn)練兩層神經(jīng)網(wǎng)絡(luò)的輸入、輸出策略為π_n(θ)；初始化n＝1；

步驟2.2、初始化t＝0，并隨機(jī)初始化動(dòng)作將動(dòng)作輸入給逆變器數(shù)學(xué)模型并輸出狀態(tài)給策略體和執(zhí)行體；