[發明專利]一種次氯酸鈉的發生工藝

有效

• 申請號: 202210604928.5
• 申請日: 2022-05-31
• 公開（公告）號: CN114892186B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 王榕棟;蔣錸;周明
• 申請（專利權）人: 浙江天行健水務有限公司
• 主分類號: G06Q50/04
• 分類號: G06Q50/04;C25B1/26;C25B1/14;G06N3/08
• 代理公司: 北京惠科金知識產權代理有限公司 11981
• 代理人: 劉瀟

1.一種次氯酸鈉的發生工藝，其特征在于：進液經計量泵輸入到電解槽中，電解槽連接有促使進液電解形成次氯酸鈉的電源，各參數經控制器的信號輸入端輸入，控制器的信號輸出端分別與電源和計量泵連接，電源和計量泵根據信號實現電解槽作業狀態的改變：

(1)給定參數：目標次氯酸鈉的總用量V與濃度C_LN，電解槽的額定產氯量S_N、額定進液流量Q_N、額定電解電流I_N、電解電壓U_N、最高出液溫度T_max，以及鹽費、電費；

(2)實時參數：進液濃度C、進液電導率g、進液溫度t₁、出液溫度t₂、進液流量Q、出液濃度C_L、實時電費F_c，電解電壓U、電解電流I；

(3)構建具體算法模型：將一天內次氯酸鈉發生器的控制問題轉化建模為馬爾可夫決策過程，該過程表達為：P_k(s_k+1|s_k，O_k，a_k)，其中：

①k：表示馬爾可夫決策節點，k＝1，2…，H，H≤24，

②S：表示所有節點的有限狀態集合，s_k∈S，表示第k個節點的狀態，

③O：表示環境觀測集合，O_k表示第k個節點下，對次氯酸鈉產生環境的實時觀測，即o_k∈O，

④A：表示動作集合，包括注入鹽水/軟化水的配比、實時流量控制和電解電流大小控制，a_k∈A，表示第k個節點的動作；

(4)強化學習模型建模：

向馬爾可夫決策過程中引入總價值函數q_π(·)，其由動作價值回報和狀態價值回報共同構成，表示為：其中：

①π(·)：表示策略選取網絡，數學表示為π(a_k|s_k，O_k)，即建模當前節點的狀態s_k和環境觀測O_k下，對于不同決策動作a_k的條件概率，

②Tr(·)：表示狀態轉移網絡，用于預測下一個時刻的狀態s_k+1，步驟(3)建模的馬爾可夫狀態轉移過程中，已知當前時刻狀態s_k、由策略選取網絡預測得出動作a_k、環境觀測O_k，得P_k(s_k+1)＝Tr(s_k，O_k，a_k)，

③R_k(·)：表示動作價值回報函數，其中ΔV_k為動作a_k后加次氯酸鈉產生速率，Δc與Δs分別為節點時間內的用電量與用鹽量，F_c為實時電費，F_s為鹽耗費，F_o＝F_c+F_s，

④v_π(·)：表示狀態價值函數，預測馬爾可夫決策過程中每一個動作a_k的后續長時間回報，v_π(s_k)＝E(R_k+1+γR_k+2+γ²R_k+3+…+γ^H-k-1R_H)，其中γ為回報衰減因子，0＜γ＜1；

步驟(4)中，環境觀測集合包括每個時間點節點實時觀測的進液濃度C、進液電導率g、進液溫度t₁、出液溫度t₂、進液流量Q、出液濃度C_L，每一種實時狀態均為有范圍的連續狀態；

(5)在線更新算法訓練強化學習模型：

更新步驟(4)中的策略選取網絡π(·)和狀態轉移網絡Tr(·)，其整體回報更新方式為：

q_π(s，a)＝(1-β)q_π(s_k，a_k)+βa_k[R_k+1(a_k+1)+γq_π(s_k+1，a_k+1)]，β為平衡短期回報和長期回報之間的權重，q_π(s，a)最大時即對應為次氯酸鈉對應的發生工藝。