[發(fā)明專利]一種電廠集控室深度學習和視覺伺服的觸屏控制操作方法在審
| 申請?zhí)枺?/td> | 201911075065.1 | 申請日： | 2019-11-06 |
| 公開（公告）號： | CN111144401A | 公開（公告）日： | 2020-05-12 |
| 發(fā)明（設計）人： | 白玉峰;陳建忠;林楚偉;李洪;馮庭有;朱晨亮;曾向榮;成仕強;劉天宇;吳斌;江永;盧敘鈿;潘鳳萍;范衠;姜濤;安康;邱本章;羅晨林;熊宇 | 申請（專利權(quán)）人： | 華能國際電力股份有限公司海門電廠;汕頭大學 |
| 主分類號： | G06K9/32 | 分類號： | G06K9/32;G06K9/62;G06N3/04;G06N3/08;G06F3/0488 |
| 代理公司： | 廣州粵高專利商標代理有限公司 44102 | 代理人： | 江裕強;張金福 |
| 地址： | 515000 廣*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 電廠 集控室 深度 學習 視覺 伺服 控制 操作方法 | ||
本發(fā)明涉及圖像處理技術(shù)和視覺伺服技術(shù)領域，特別涉及基一種電廠集控室深度學習和視覺伺服的觸屏控制操作方法。本操作方法包括：獲取集控室電廠需要監(jiān)測的界面圖像并建立相應圖像庫；利用訓練好的卷積神經(jīng)網(wǎng)絡識別界面局部的字符信息來判斷當前所停留的工作頁面；采用圖像的模板匹配方法檢測需要后續(xù)機械臂點擊的字符按鈕；利用攝像頭采集顯示屏的RGB圖像，再通過卷積神經(jīng)網(wǎng)絡確定顯示屏的位姿信息，結(jié)合操作界面的圖像識別與定位，驅(qū)動機械臂末端完成操作。本發(fā)明采用深度學習技術(shù)，實現(xiàn)集控系統(tǒng)狀況的快速、智能判斷；引入視覺伺服技術(shù)，實現(xiàn)機械臂對控制界面的精準操作，安全性得到了大幅提高，保證電廠生產(chǎn)的信息安全。
技術(shù)領域
本發(fā)明涉及圖像處理技術(shù)和視覺伺服技術(shù)領域，具體而言，特別涉及基一種電廠集控室深度學習和視覺伺服的觸屏控制操作方法。
背景技術(shù)
電廠所處氣候?qū)儆趤啛釒Ъ撅L型海洋性氣候區(qū)，大氣中富含氮氧化物等強腐蝕性離子，即電廠所處的環(huán)境較差且各設備之間存在一定的配合邏輯，一旦某種設備出現(xiàn)運行故障，便可能會出現(xiàn)整個系統(tǒng)的停運。因此電廠的監(jiān)控工作影響全廠的安全、高效運作，關系重大。
電廠集控室通過人工監(jiān)盤主要存在以下兩個缺點：(1)操作界面圖例較小，監(jiān)控人員長時間進行監(jiān)控，注意力需要高度集中，容易疲勞，造成監(jiān)控人員對界面內(nèi)的信息產(chǎn)生錯誤判斷，出現(xiàn)操作失誤；(2)由于監(jiān)控系統(tǒng)界面需監(jiān)控的位點眾多，且一人需要負責觀察多個屏幕，定期監(jiān)控，工作重復、繁重，工作量大。
發(fā)明內(nèi)容
基于此，本發(fā)明的目的是提供一種能夠有效解決上述現(xiàn)有技術(shù)存在的問題的電廠集控室深度學習和視覺伺服的觸屏控制操作方法，本發(fā)明采用深度學習技術(shù)，實現(xiàn)集控系統(tǒng)狀況的快速、智能判斷；引入視覺伺服技術(shù)，實現(xiàn)機械臂對控制界面的精準操作。
為實現(xiàn)上述目的，本發(fā)明提供的一種電廠集控室深度學習和視覺伺服的觸屏控制操作方法，所述方法包括以下步驟：
步驟S1：獲取集控室電廠需要監(jiān)測的界面圖像并建立相應圖像庫；
步驟S2：利用訓練好的卷積神經(jīng)網(wǎng)絡識別界面局部的字符信息來判斷當前所停留的工作頁面；
步驟S3：采用圖像的模板匹配方法檢測需要后續(xù)機械臂點擊的字符按鈕；
步驟S4：利用攝像頭采集顯示屏的RGB圖像，再通過卷積神經(jīng)網(wǎng)絡確定顯示屏的位姿信息，結(jié)合操作界面的圖像識別與定位，驅(qū)動機械臂末端完成操作。
進一步的，所述步驟S2以及步驟S4中，用于識別界面局部字符信息來判斷當前停留的工作頁面的卷積神經(jīng)網(wǎng)絡以及用于確定顯示屏的位姿信息的卷積神經(jīng)網(wǎng)絡的訓練，包括：
卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)建立和卷積神經(jīng)網(wǎng)絡的參數(shù)學習；步驟S2中訓練所采用的圖像樣本來源于視頻采集的方式,即將操作界面的視頻信號通過視頻采集卡，獲得畫面圖像；步驟S4中訓練采用的圖像樣本來源于步驟S1中通過視頻采集的方式獲得的圖片和攝像頭采集顯示屏的RGB圖像。其中，卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)建立，包括：
確定包括卷積層層數(shù)、每卷積層的特征圖數(shù)，全連接的層數(shù)、每全連接層的特征圖數(shù)，池化層層數(shù)，卷積層使用的卷積核的大小，池化層所用的采樣核的大小，訓練步長。
用于字符識別的卷積神經(jīng)網(wǎng)絡CRNN的損失函數(shù)O為：
其中，Yi是由Li經(jīng)過循環(huán)層和卷積層所產(chǎn)生的序列。該目標函數(shù)會直接從圖像和它的真實標簽序列序列計算損失值。因此該網(wǎng)絡可以在成對的圖像和序列上進行端到端的訓練。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于華能國際電力股份有限公司海門電廠;汕頭大學，未經(jīng)華能國際電力股份有限公司海門電廠;汕頭大學許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201911075065.1/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
