[發(fā)明專利]一種卷煙異味氣體噴淋水洗循環(huán)水pH值調(diào)節(jié)方法

有效

• 申請?zhí)枺?/td>: 202210195078.8
• 申請日: 2022-03-01
• 公開（公告）號: CN114620819B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設(shè)計）人: 李文亮;吳悅;徐文濤;徐瀟媛;季亦帆;劉海龍;龔良昊;馬建忠
• 申請（專利權(quán)）人: 紅云紅河煙草（集團）有限責(zé)任公司
• 主分類號: G05D21/02
• 分類號: G05D21/02;G05D11/13;G05B19/05;C02F1/66;C02F103/18
• 代理公司: 北京名華博信知識產(chǎn)權(quán)代理有限公司 11453
• 代理人: 薛飛

1.一種卷煙異常氣味噴淋水洗循環(huán)水pH值調(diào)節(jié)方法，其特征是，包括如下步驟：

步驟1：建立pH調(diào)節(jié)反應(yīng)器離線仿真模型；

步驟1所述的pH調(diào)節(jié)反應(yīng)器離線仿真模型包括反應(yīng)器、循環(huán)水輸入管道、氫氧化鈉溶液輸入管道、循環(huán)水輸出管道，所述的循環(huán)水輸入管道上設(shè)置有調(diào)節(jié)循環(huán)水輸入流量的薄膜閥一，所述的氫氧化鈉輸入管道上設(shè)置有調(diào)節(jié)氫氧化鈉溶液輸入流量的薄膜閥二，循環(huán)水輸入實時流量、循環(huán)水輸入pH值、氫氧化鈉溶液最大輸入流量、氫氧化鈉溶液濃度、薄膜閥一開度、薄膜閥二開度為設(shè)定值，循環(huán)水輸出pH值為模擬值；

步驟2：建立基于Q-learning算法pH值控制器；

步驟2包括以下步驟：

步驟2.1：將薄膜閥一開度、薄膜閥二開度作為動作集合A，將循環(huán)水輸出pH值、循環(huán)水輸入實時流量、循環(huán)水輸入pH值、氫氧化鈉溶液濃度作為狀態(tài)集合S，創(chuàng)建Q值表對動作值函數(shù)Q(s，a)進行表示；

步驟2.2：設(shè)定獎勵矩陣R，所述的獎勵矩陣R為：

式中R_t為獎勵函數(shù)，k_r為常數(shù)，用于調(diào)整獎勵函數(shù)范圍，abs(pH_實際-pH_設(shè)定)表示循環(huán)水輸出pH的設(shè)定值與實際值間絕對值，abs(a_t-a_t+1)表示動作離散絕對值；

步驟3：使用pH調(diào)節(jié)反應(yīng)器離線仿真模型提供的動作狀態(tài)數(shù)據(jù)對基于Q-learning算法pH值控制器進行訓(xùn)練；

步驟4：pH值控制器訓(xùn)練完成，在線部署。

2.根據(jù)權(quán)利要求1所述的一種卷煙異常氣味噴淋水洗循環(huán)水pH值調(diào)節(jié)方法，其特征是，所述的步驟3包括如下步驟：

步驟3.1：根據(jù)選擇Q值表，并初始化Q值表；

步驟3.2：任意給定狀態(tài)s_t，s_t∈S；

步驟3.3：根據(jù)s_t，采用貪婪算法計算動作a_t+1，計算執(zhí)行動作a_t+1的狀態(tài)變化s_t+1以及獎勵函數(shù)R_t；

步驟3.4：根據(jù)Q(s_t,a_t)←Q(s_t,a_t)+α[R_t+γQ(s_t+1,a_t+1)-Q(s_t,a_t)]對狀態(tài)s_t和動作a_t相應(yīng)Q值進行更新；

步驟3.5：如果s_t←s_t+1，s_t不在改變循環(huán)結(jié)束，否則s_t→s_t+1返回步驟3.2繼續(xù)循環(huán)至設(shè)定迭代次數(shù)。

3.根據(jù)權(quán)利要求2所述的一種卷煙異常氣味噴淋水洗循環(huán)水pH值調(diào)節(jié)方法，其特征是，所述的步驟3.2根據(jù)蒙特卡洛取樣法從歷史數(shù)據(jù)中抽取數(shù)據(jù)作為狀態(tài)s_t。