[發(fā)明專利]一種基于強化學習的液位容錯控制方法

在審

• 申請?zhí)枺?/td>: 202010947314.8
• 申請日: 2020-09-10
• 公開（公告）號: CN112180996A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設計）人: 張大鵬
• 申請（專利權(quán)）人: 天津大學
• 主分類號: G05D9/12
• 分類號: G05D9/12
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 杜文茹

一種基于強化學習的液位容錯控制系統(tǒng)，是用于多容水箱系統(tǒng)的容錯控制，所需要的前提條件僅僅是檢測到發(fā)生了故障，而無需進一步對故障進行診斷，這個前提條件在故障檢測與診斷中是比較容易實現(xiàn)的，目前有很多成熟的方法，如PCA、貝葉斯決策等。另外，評價動作結(jié)構(gòu)主要是采用人工神經(jīng)網(wǎng)絡來說實現(xiàn)的，而神經(jīng)網(wǎng)絡具有很好的魯棒性，能夠有效的克服噪聲的影響。本發(fā)明可以在沒有訓練樣本的情況下直接利用所采集的數(shù)據(jù)進行控制，從而實現(xiàn)容器液位達到無故障情況時的相同指標。本發(fā)明的方法獲得的控制量是一種系統(tǒng)發(fā)生故障時的最優(yōu)控制量，是系統(tǒng)發(fā)生故障時在最大程度上所能達到的性能指標。

技術(shù)領(lǐng)域

本發(fā)明涉及一種液位容錯控制方法。特別是涉及一種基于強化學習的液位容錯控制方法。

背景技術(shù)

在工農(nóng)業(yè)生長中，常常需要對容器的液位進行控制，比如自動控制水箱、水池、水槽、鍋爐等榮次的儲水量，單個容器的水位控制已有大量成熟的產(chǎn)品直接應用，但工業(yè)生產(chǎn)中(結(jié)晶器液位)控制，常常面臨多個容器通過閥門連通的情況，通過對閥門開度的調(diào)節(jié)保持不同容器的設定高度，從而保證了容器中的液相反應具有較高的效率，然而由于傳感器精度下降所帶來的檢測信號偏差，閥門控制器的性能下降以及由于密閉失效造成的罐內(nèi)液體泄漏常常造成了液位偏離原有設定值，從而降低了液相反應效率，通常采用的方法是容錯控制。

多容器連接通過連接閥的開度調(diào)整使得各個容器的高度保持在設定位置，但由于傳感器精度下降所帶來的檢測信號偏差，閥門控制器的性能下降以及由于密閉失效造成的罐內(nèi)液體泄漏常常造成了液位偏離原有設定值。

在傳統(tǒng)的基于數(shù)據(jù)驅(qū)動的各類人工智能方法中，需要事先采用樣本數(shù)據(jù)來進行訓練，但由于故障發(fā)生的時間不確定性和故障類型的隨機性，難以獲得足夠的有效故障數(shù)據(jù)作為訓練樣本。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，提供一種通過調(diào)整流量，使得各個容器的液位即使在故障情況下也能保持在無故障情況下的高度的基于強化學習的液位容錯控制方法。

本發(fā)明所采用的技術(shù)方案是：一種基于強化學習的液位容錯控制系統(tǒng)，其特征在于，是用于多容水箱系統(tǒng)的容錯控制，包括：用于分別采集每個水箱在不同時刻的液位信息的信息采集單元，用于根據(jù)接收信息采集單元輸出的k時刻所有水箱的液位信息和變頻器的控制信息來預測k+1時刻所有水箱的液位信息的無故障模型，用于根據(jù)分別接收信息采集單元輸出的k時刻和k+1時刻所有水箱的液位信息，分別估計出k時刻和k+1時刻所應的控制變頻器的控制變量的總體價值V(k)和V(k+1)的評價網(wǎng)絡，用于根據(jù)分別接收信息采集單元輸出的k+1時刻所有水箱的液位信息、以及無故障模型輸出的預測k+1時刻所有水箱的液位信息評估出階段價值R(k)的階段價值評估單元，用于根據(jù)分別接收的階段價值評估單元輸出的階段價值以及評價網(wǎng)絡輸出的總體價值V(k)和V(k+1)輸出用于權(quán)值更新的適應度函數(shù)的偏差估計單元，用于根據(jù)接收偏差估計單元輸出的適應度函數(shù)對評價網(wǎng)絡進行權(quán)值更新的權(quán)值更新單元，所述評價網(wǎng)絡根據(jù)接收權(quán)值更新單元輸出的所有更新后的權(quán)值，輸出與變頻器的控制量u(k)有關(guān)的權(quán)值，用于根據(jù)接收評價網(wǎng)絡輸出的與變頻器的控制量u(k)有關(guān)的權(quán)值以及信息采集單元輸出的k時刻所有水箱的液位信息進行迭代更新得到最優(yōu)控制變量對多容水箱系統(tǒng)的變頻器進行控制的動作網(wǎng)絡。

本發(fā)明的一種基于強化學習的液位容錯控制方法，具有如下優(yōu)點：

1、本發(fā)明的方法不用提前對故障類型和部位進行診斷和定位，直接采用數(shù)據(jù)驅(qū)動的方法對容器液位進行容錯控制。

2、本發(fā)明的方法克服了傳統(tǒng)人工智能方法需要足夠訓練樣本而實際系統(tǒng)很難獲得這些樣本數(shù)據(jù)之間的矛盾，可以在沒有訓練樣本的情況下直接利用所采集的數(shù)據(jù)進行控制，從而實現(xiàn)容器液位達到無故障情況時的相同指標。

3、本發(fā)明的方法獲得的控制量是一種系統(tǒng)發(fā)生故障時的最優(yōu)控制量，是系統(tǒng)發(fā)生故障時在最大程度上所能達到的性能指標。

附圖說明