[發(fā)明專利]一種電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911075065.1
• 申請(qǐng)日: 2019-11-06
• 公開（公告）號(hào): CN111144401A
• 公開（公告）日: 2020-05-12
• 發(fā)明（設(shè)計(jì)）人: 白玉峰;陳建忠;林楚偉;李洪;馮庭有;朱晨亮;曾向榮;成仕強(qiáng);劉天宇;吳斌;江永;盧敘鈿;潘鳳萍;范衠;姜濤;安康;邱本章;羅晨林;熊宇
• 申請(qǐng)（專利權(quán)）人: 華能國(guó)際電力股份有限公司海門電廠;汕頭大學(xué)
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/62;G06N3/04;G06N3/08;G06F3/0488
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 江裕強(qiáng);張金福

1.一種電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法，其特征在于，所述方法包括如下步驟：

步驟S1：獲取集控室內(nèi)電廠需要監(jiān)測(cè)的操作界面圖像并建立相應(yīng)圖像庫(kù)；

步驟S2：利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別操作界面局部的字符信息來(lái)判斷當(dāng)前所停留的工作頁(yè)面；

步驟S3：采用圖像的模板匹配方法檢測(cè)需要后續(xù)機(jī)械臂點(diǎn)擊的字符按鈕；

步驟S4：利用攝像頭采集觸控顯示屏的RGB圖像，再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)確定顯示屏的位姿信息，結(jié)合操作界面的圖像識(shí)別與定位，驅(qū)動(dòng)機(jī)械臂末端完成操作。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)和視覺伺服的電廠集控室的觸屏控制操作方法，其特征在于，步驟S1中，具體包括將操作界面的視頻信號(hào)通過(guò)視頻采集卡，獲得操作界面畫面圖像，用于后續(xù)的步驟S2和步驟S3中的圖像識(shí)別匹配處理。

3.根據(jù)權(quán)利要求1所述的電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法，其特征在于：所述步驟S2以及步驟S4中，利用反向傳播算法訓(xùn)練用于識(shí)別界面局部字符來(lái)判斷當(dāng)前所停留的工作界面以及確定顯示屏的位姿信息的兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法：所述步驟S3中，判斷出當(dāng)前所停留的工作界面之后，需要識(shí)別出圖像中需要點(diǎn)擊的字符按鈕，可以截取待檢測(cè)區(qū)域像素，采用圖像的模板匹配方法進(jìn)行檢測(cè)。

5.根據(jù)權(quán)利要求1所述的電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法，其特征在于，步驟S4中，利用設(shè)置在機(jī)械臂末端的攝像頭采集顯示屏的RGB圖像，再通過(guò)所述卷積神經(jīng)網(wǎng)絡(luò)確定顯示屏的位姿信息，結(jié)合操作界面的圖像識(shí)別與定位，確定需要操作的位姿信息，最后發(fā)送驅(qū)動(dòng)信號(hào)驅(qū)動(dòng)機(jī)械臂末端完成操作。

6.根據(jù)權(quán)利要求3所述的電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法：其特征在于，用驗(yàn)證集評(píng)估所述卷積神經(jīng)網(wǎng)絡(luò)放入模型的性能。

7.根據(jù)權(quán)利要求3所述電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法：其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)建立均包括卷積層層數(shù)、每卷積層的特征圖數(shù)，全連接的層數(shù)、每全連接層的特征圖數(shù)，池化層層數(shù)，卷積層使用的卷積核的大小，池化層所用的采樣核的大小，訓(xùn)練步長(zhǎng)。

8.根據(jù)權(quán)利要求3所述電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法，其特征在于，實(shí)現(xiàn)所述卷積神經(jīng)網(wǎng)絡(luò)端到端的訓(xùn)練，具體為：訓(xùn)練數(shù)據(jù)通過(guò)：

X＝{I_i,L_i}_i的定義

其中I_i是訓(xùn)練過(guò)程中卷積神經(jīng)網(wǎng)絡(luò)判斷的序列，L_i是真實(shí)的標(biāo)簽序列,訓(xùn)練整個(gè)模型的目標(biāo)函數(shù)是最小化真實(shí)條件概率下的負(fù)對(duì)數(shù)似然函數(shù):

其中，Y_i是由L_i經(jīng)過(guò)循環(huán)層和卷積層所產(chǎn)生的序列,該目標(biāo)函數(shù)會(huì)直接從圖像和它的真實(shí)標(biāo)簽序列序列計(jì)算損失值,因此該網(wǎng)絡(luò)可以在成對(duì)的圖像和序列上進(jìn)行端到端的訓(xùn)練,卷積神經(jīng)網(wǎng)絡(luò)使用隨梯度下降(SGD)進(jìn)行訓(xùn)練，梯度由反向傳播算法計(jì)算。

9.根據(jù)權(quán)利要求3所述電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法：其特征在于，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)在圖像中定位其中心并預(yù)測(cè)其與相機(jī)的距離來(lái)估計(jì)對(duì)象的3D平移。通過(guò)回歸到的四元數(shù)表示來(lái)估計(jì)對(duì)象的3D旋轉(zhuǎn)。

10.根據(jù)權(quán)利要求3所述電廠集控室深度學(xué)習(xí)和視覺伺服的觸屏控制操作方法，其特征在于，實(shí)現(xiàn)所述用于6D物體姿態(tài)估計(jì)的新型卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，具體為：網(wǎng)絡(luò)的預(yù)測(cè)輸出共有3個(gè)，分別為語(yǔ)義分割分支，位置分支，和姿態(tài)分支，對(duì)于上述的每個(gè)分支，都有一個(gè)Loss，一共有3個(gè)Loss,訓(xùn)練整個(gè)模型的目標(biāo)函數(shù)是：

其中，M代表3D模型空間中的點(diǎn),和R(q)分別代表預(yù)測(cè)的3D旋轉(zhuǎn)矩陣和真正的3D旋轉(zhuǎn)矩陣,X₁表示場(chǎng)景中的點(diǎn)，X₂表示模型上離X₁最近的點(diǎn)。