[發明專利]一種利用迭代二次啟發式規劃的污水處理濃度控制方法

有效

• 申請號: 202010422508.6
• 申請日: 2020-05-19
• 公開（公告）號: CN112000004B
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 王鼎;哈明鳴;喬俊飛
• 申請（專利權）人: 北京工業大學;北京科技大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

1.一種利用迭代二次啟發式規劃的污水處理濃度控制方法，其特征在于，設S_O,5表示第五分區的溶解氧濃度，S_NO,2表示第二分區的硝態氮濃度，K_La₅表示第五分區的氧氣轉換系數，Q_a表示第五分區到第二分區的內回流量，包括以下步驟：

步驟1、將污水處理濃度控制問題轉化為最優調節器設計

設k表示系統運行的時間步，且k∈N＝{0,1,2,...}，設為k時刻實際測量的溶解氧濃度和硝態氮濃度組成的原始狀態向量，設為兩個濃度的期望值，設為k時刻氧氣轉換系數和內回流量組成的實際控制動作，設為穩定控制輸入；

設計一個跟蹤反饋控制律，使測量狀態跟蹤上期望值設k時刻的跟蹤誤差和跟蹤控制分別定義為和分別視為最優調節器設計問題中的狀態向量與控制向量，表征狀態向量x(k)與控制向量u(k)關系的非線性連續函數為F(·,·)，而相應的離散時間非線性動態系統的狀態空間方程為

x(k+1)＝F(x(k),u(k)) (1)

對于非線性最優調節器設計問題，找到容許控制律集合中的一個合適反饋控制律u，使得如下形式的代價函數達到最小，即

其中，U(x,u)為效用函數，代價函數J(x(k),u(k))簡寫為J(x(k))，而最優代價函數J^*(x(k))的定義為J^*(x(k))＝min_u J(x(k),u(k))，

在調節器設計中，最優代價函數J^*(x(k))滿足離散時間HJB方程

通過利用迭代二次啟發式規劃算法得到與理想最優控制u^*(x(k))對應的近似最優控制并應用進行污水處理濃度的跟蹤控制設計，其中，

步驟2、構建與協函數相關的迭代自適應評判框架

設i表示外層迭代指標且i∈N，在迭代算法中，預先設置一個小的正數ε，并構造代價函數序列{J⁽ⁱ⁾(x(k))}和控制律序列{u⁽ⁱ⁾(x(k))}，首先從J⁽⁰⁾(·)＝0開始執行迭代過程，然后求解迭代控制律：

更新迭代代價函數

為了更好的利用梯度信息，考慮代價函數相對于狀態向量的偏導數，稱為協函數，令

且

其中，λ⁽⁰⁾(·)為迭代指標為零時的協函數，即迭代代價函數(6)相對于狀態向量的偏導數寫為：

公式(5)和(6)表示的迭代關系，變成公式(5)和(9)之間的迭代，上述迭代過程為

λ⁽⁰⁾(·)→u⁽⁰⁾(·)→λ⁽¹⁾(·)→…→u⁽ⁱ⁾(·)→λ⁽ⁱ⁺¹⁾(·)→… (10)

當||λ⁽ⁱ⁺¹⁾(x(k))-λ⁽ⁱ⁾(x(k))||≤ε時，停止迭代過程并輸出理想的最優控制律，即有u⁽ⁱ⁾(x(k))→u^*(x(k))，否則，令迭代指標i＝i+1并重復公式(5)和(9)，直到滿足收斂性要求；

步驟3、分別構建污水處理平臺的神經辨識器與調節器設計問題的模型網絡

對于原始污水處理系統的神經辨識器，輸入狀態信號和控制信號辨識器的輸出表示為

其中，和是權值矩陣，和是閾值向量，σ(·)是激活函數，

對于調節器設計問題中的模型網絡，輸入狀態信號x(k)和控制信號u(k)，模型網絡的輸出表示為：

在訓練辨識器與模型網絡之后，分別保存訓練好的權值矩陣和閾值向量，就可以使用式(11)得到污水處理平臺的近似濃度、使用式(13)得到調節器設計問題的近似狀態；

步驟4、開展迭代二次啟發式規劃算法的神經網絡實現

構建評判網絡和執行網絡并進行訓練，直到迭代算法滿足收斂性要求，在終止執行整個迭代過程之后，輸出執行網絡的最終權值并得到反饋控制律的神經網絡表達，即得到對于理想最優控制律u^*(x(k))的神經網絡近似表達

具體實現步驟為：

步驟4-1、構建評判網絡以近似迭代過程中的協函數，并利用梯度下降法訓練其權值矩陣

基于狀態變量x(k)以及第i+1次迭代的權值矩陣和評判網絡的輸出表達式為

結合迭代過程中協函數的表達式(9)，定義訓練評判網絡的性能度量為

采用經典的梯度下降法來更新評判網絡的權值矩陣，即

其中，α₂0是評判網絡的學習率，l_c是評判網絡的內層迭代指標，用于衡量評判網絡訓練過程中的內部循環；

步驟4-2、構建執行網絡以近似迭代過程中的控制函數，并利用梯度下降法訓練其權值矩陣

最后，基于狀態變量x(k)以及第i次迭代的權值矩陣和構建執行網絡以近似迭代控制律，其輸出表達式為

類似地，結合迭代過程中控制律的表達式(5)，訓練執行網絡的性能度量為

采用經典的梯度下降法來更新執行網絡的權值矩陣，即

其中，α₃0是執行網絡的學習率，l_a是執行網絡的內層迭代指標；利用協函數表達式，在求解迭代過程中的控制律u⁽ⁱ⁾(x(k))時，直接利用評判網絡的輸出信息

在迭代二次啟發式規劃算法的神經網絡實現過程中，當迭代算法滿足收斂要求時，有即在執行上述自適應學習算法之后，可以得到實用的近似最優控制器即得到對于理想最優控制律u^*(x(k))的神經網絡近似表達

步驟5、利用轉化后系統的優化調節器，得到原始污水處理系統中溶解氧和硝態氮濃度對于期望值的實際跟蹤效果

利用上述迭代二次啟發式規劃算法，將得到的調節器設計問題的實用控制律作用于轉化后的非線性動態系統，實現狀態向量x(k)的更新；根據關系式即可得到污水處理系統中溶解氧和硝態氮濃度相對于期望值的實際跟蹤效果；同時利用上述實用控制律產生的控制輸入信號，實際污水處理平臺中的氧氣轉換系數和內回流量通過得到，至此完成利用迭代二次啟發式規劃的污水處理濃度控制設計。