[發(fā)明專(zhuān)利]基于Q-Learning算法同容量三相逆變器并聯(lián)環(huán)流抑制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110294981.5
• 申請(qǐng)日: 2021-03-19
• 公開(kāi)（公告）號(hào): CN112953286A
• 公開(kāi)（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 彭云建;王騰飛;孫偉杰;康睿
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華南理工大學(xué)
• 主分類(lèi)號(hào): H02M7/5387
• 分類(lèi)號(hào): H02M7/5387
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.一種基于Q-Learning算法同容量三相逆變器并聯(lián)環(huán)流抑制方法，其特征在于，包括下述步驟：

建立輸出線(xiàn)路阻抗參數(shù)未知的同容量三相逆變器并聯(lián)系統(tǒng)動(dòng)態(tài)模型，完成線(xiàn)路阻抗和負(fù)載阻抗對(duì)逆變器并聯(lián)運(yùn)行環(huán)流的解耦；

基于輸出線(xiàn)路阻抗參數(shù)未知的三相逆變器并聯(lián)系統(tǒng)動(dòng)態(tài)模型，采用下垂控制策略引入虛擬阻抗控制環(huán)，實(shí)現(xiàn)增益參數(shù)可調(diào)節(jié)的虛擬阻抗下垂控制方法；

所述采用下垂控制策略引入虛擬阻抗控制環(huán)，具體步驟包括：

在下垂控制電路的基礎(chǔ)之上搭建反饋回路，所述反饋回路中包括基礎(chǔ)的阻抗常數(shù)和可調(diào)節(jié)的增益系數(shù)，所述反饋回路的輸入為逆變器輸出電流值，回路中的虛擬阻抗值為控制器中電感電流、初始阻抗常數(shù)以及虛擬阻抗增益系數(shù)的乘積，在下垂控制環(huán)中減掉虛擬阻抗值，最后將二者比較后的電壓差值輸入電壓比例積分控制單元和電流比例單元，再經(jīng)過(guò)坐標(biāo)變換以及SPWM調(diào)制生成開(kāi)關(guān)管的控制信號(hào)對(duì)三相逆變橋進(jìn)行控制；

所述采用下垂控制策略引入虛擬阻抗控制環(huán)，加入虛擬阻抗的數(shù)學(xué)模型表示為：

U'_dqref(s)＝U_dqref(s)-Z(s)I(s)W

其中，U′_dqref(s)為加入虛擬阻抗之后給到電壓電流內(nèi)環(huán)的參考電壓，U_dqref(s)為傳統(tǒng)下垂控制下給到電壓電流內(nèi)環(huán)的參考電壓，Z(s)為需加入的基礎(chǔ)阻抗常數(shù)，I(s)為逆變器輸出電流，W為虛擬阻抗增益系數(shù)；

采用強(qiáng)化學(xué)習(xí)Q-Learning算法對(duì)多臺(tái)逆變器輸出無(wú)功功率之間的偏差進(jìn)行學(xué)習(xí)，通過(guò)調(diào)節(jié)虛擬阻抗增益系數(shù)的方法降低各條線(xiàn)路阻抗之間的差異，抑制環(huán)流；

將各逆變器輸出的無(wú)功功率和平均無(wú)功功率的偏差作為環(huán)境狀態(tài)，對(duì)并聯(lián)系統(tǒng)中每臺(tái)逆變器都引入強(qiáng)化學(xué)習(xí)控制器，并由此建立環(huán)境狀態(tài)集合S，表示為：

S＝{ΔQ₁?ΔQ₂?...?ΔQ_i?...?ΔQ_T}

ΔQ＝Q-Q_load/N

其中，ΔQ_i表示單臺(tái)逆變器輸出無(wú)功功率和平均無(wú)功功率的偏差等級(jí)，Q表示單臺(tái)逆變器輸出的無(wú)功功率，Q_load表示總負(fù)載無(wú)功功率，N表示并聯(lián)系統(tǒng)中逆變器總數(shù)，ΔQ表示任意一臺(tái)逆變器輸出無(wú)功功率和平均無(wú)功功率的偏差；

對(duì)每臺(tái)逆變器定義動(dòng)作集合A：

A＝{ΔW₁?ΔW₂?...?ΔW_i?...?ΔW_K}

其中，ΔW_i表示虛擬阻抗增益系數(shù)的不同增益值，并且將所加增益系數(shù)值分為K個(gè)等級(jí)；

在環(huán)境狀態(tài)集合S和動(dòng)作集合A的前提下，定義獎(jiǎng)勵(lì)函數(shù)R，表示為：

其中，(S_i,A_i)表示逆變器并聯(lián)系統(tǒng)中任意第j臺(tái)逆變器所處狀態(tài)S_i時(shí)執(zhí)行動(dòng)作A_i后可以獲得的獎(jiǎng)勵(lì)，ΔQ表示任意一臺(tái)逆變器輸出無(wú)功功率和平均無(wú)功功率的偏差，ΔQ1、ΔQ2、ΔQ3、ΔQ4表示對(duì)無(wú)功功率偏差設(shè)置的偏差范圍邊界值，α₁、α₂、α₃、α₃表示針對(duì)不同無(wú)功功率偏差區(qū)間設(shè)計(jì)的控制參數(shù)；

根據(jù)環(huán)境狀態(tài)集合S和動(dòng)作集合A建立狀態(tài)動(dòng)作價(jià)值表；

控制器根據(jù)狀態(tài)動(dòng)作價(jià)值表自動(dòng)找尋最佳虛擬阻抗增益系數(shù)，增益系數(shù)乘上虛擬阻抗常數(shù)以及輸出電流構(gòu)建逆變器輸出線(xiàn)路阻抗的補(bǔ)償，對(duì)線(xiàn)路阻抗進(jìn)行補(bǔ)償調(diào)整。

2.根據(jù)權(quán)利要求1所述的基于Q-Learning算法同容量三相逆變器并聯(lián)環(huán)流抑制方法，其特征在于，根據(jù)環(huán)境狀態(tài)集合S和動(dòng)作集合A建立狀態(tài)動(dòng)作價(jià)值表，所述動(dòng)作價(jià)值表每一行代表狀態(tài)集合S中的一個(gè)狀態(tài)，每一列代表動(dòng)作集合A中的一個(gè)動(dòng)作，所述動(dòng)作價(jià)值表中的任意一項(xiàng)表示在該狀態(tài)下執(zhí)行該動(dòng)作得到的獎(jiǎng)勵(lì)，記錄學(xué)習(xí)的結(jié)果，獲得最佳決策，建立強(qiáng)化學(xué)習(xí)Q-learning算法模型；

根據(jù)強(qiáng)化學(xué)習(xí)Q-learning算法模型對(duì)逆變器的控制器進(jìn)行迭代訓(xùn)練。