[發明專利]一種基于強化學習的污水處理控制系統

有效

• 申請號: 201811027135.1
• 申請日: 2018-09-04
• 公開（公告）號: CN109032038B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 黃孝平;文芳一;黃文哲
• 申請（專利權）人: 南寧學院
• 主分類號: G05B19/042
• 分類號: G05B19/042
• 代理公司: 貴州派騰知識產權代理有限公司 52114
• 代理人: 谷慶紅

本發明提供了一種基于強化學習的污水處理控制系統，包括依次通信連接的信號接收端、現場控制器、指令發送端；所述現場控制器與信號接收端之間接有信號分路模塊，現場控制器與指令發送端之間接有信號合并模塊，在信號分路模塊和信號合并模塊之間有強化控制模塊并聯于現場控制器；有時序協調模塊分別連接強化控制模塊、信號分路模塊和信號合并模塊，并根據強化控制模塊的信號對信號分路模塊和信號合并模塊進行控制。本發明通過直接從真實環境采集數據訓練的連接方式，從而使得強化學習的訓練可以直接在真實場景下完成，且完成之后可直接交接控制權，從而最終既避免企業采集數據、訓練模型的麻煩，也避免了訓練完成之后部署的適應性問題。

技術領域

本發明涉及一種基于強化學習的污水處理控制系統。

背景技術

目前，強化學習在工業控制中的應用逐漸增多，但一般都限于特定的模型，其主要原因在于強化學習的訓練需要環境支持，而在很多污水處理控制方面，完全模擬真實場景的環境所需要的計算量遠遠大于強化學習模型訓練本身所需要的計算量，導致得不償失，而且就目前的企業技術發展而言，原始的數據積累也很成問題。

發明內容

為解決上述技術問題，本發明提供了一種基于強化學習的污水處理控制系統，該基于強化學習的污水處理控制系統能通過直接從真實環境采集數據訓練的連接方式，從而使得強化學習的訓練可以直接在真實場景下完成，且完成之后可直接交接控制權。

本發明通過以下技術方案得以實現。

本發明提供的一種基于強化學習的污水處理控制系統，包括依次通信連接的信號接收端、現場控制器、指令發送端；所述現場控制器與信號接收端之間接有信號分路模塊，現場控制器與指令發送端之間接有信號合并模塊，在信號分路模塊和信號合并模塊之間有強化控制模塊并聯于現場控制器；有時序協調模塊分別連接強化控制模塊、信號分路模塊和信號合并模塊，并根據強化控制模塊的信號對信號分路模塊和信號合并模塊進行控制。

所述時序協調模塊對信號合并模塊的控制在于，根據強化控制模塊中控制模型的訓練程度的提高，控制信號合并模塊完成從完全傳遞現場控制器的指令、到傳遞現場控制器和強化控制模塊的疊加指令、最后到完全傳遞強化控制模塊的指令的過程。

所述時序協調模塊對信號分路模塊的控制在于，在強化控制模塊發出訓練完成度100％的信號之前，信號分路模塊將信號接收端的信號同時完整發送至強化控制模塊和現場控制器，在強化控制模塊發出訓練完成度100％的信號之后，信號分路模塊將信號接收端的信號僅發送至強化控制模塊。

所述強化控制模塊核心采用ARMv8架構的處理器。

所述時序協調模塊核心采用STM32F1系列芯片。

所述信號分路模塊采用8位單片機為核心的光耦電路。

所述信號合并模塊核心為DSP芯片。

所述時序協調模塊控制信號合并模塊完成從完全傳遞現場控制器的指令、到傳遞現場控制器和強化控制模塊的疊加指令、最后到完全傳遞強化控制模塊的指令的過程，為如下兩種方式之一：

a.分為三個階段，第一階段完全傳遞現場控制器的指令，第二階段傳遞現場控制器和強化控制模塊的疊加指令，且強化控制模塊指令信號量小于傳遞現場控制器指令信號量的30％，第三階段完全傳遞強化控制模塊的指令；

b.傳遞現場控制器和強化控制模塊的疊加指令，其中強化控制模塊指令信號量在最終指令信號量中的占比從0％至100％線性增加。

本發明的有益效果在于：通過直接從真實環境采集數據訓練的連接方式，從而使得強化學習的訓練可以直接在真實場景下完成，且完成之后可直接交接控制權，從而最終既避免企業采集數據、訓練模型的麻煩，也避免了訓練完成之后部署的適應性問題。

附圖說明

圖1是本發明的連接示意圖。