[發明專利]基于識別定位設備監護操作員操作工業設備的系統及方法

在審

• 申請號: 202110686458.7
• 申請日: 2021-06-21
• 公開（公告）號: CN113436342A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 王興龍;孫飛;程甫;周齊輝;呂力行;沈曉兵;沈建明
• 申請（專利權）人: 浙江浙能電力股份有限公司蕭山發電廠
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06F3/16;G06F3/01;G06K9/62;G06K9/00;G06K17/00;G06Q50/06;G10L15/26
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.基于識別定位設備監護操作員操作工業設備的系統，其特征在于該系統包括單目穿戴眼鏡設備、視頻服務器、AI視頻服務器、業務服務器和定位二維碼標簽；

定位二維碼標簽設置在工業設備上，單目穿戴眼鏡設備通過定位二維碼標簽，定位到當前操作工業設備；并通過單目穿戴眼鏡設備將當前操作視頻發送給視頻服務器進行存儲；視頻服務器將存儲后的操作視頻發送給AI視頻服務器，通過該AI視頻服務器將視頻處理成圖片。

2.根據權利要求1所述的基于識別定位設備監護操作員操作工業設備的系統，其特征在于AI視頻服務器自帶有手勢識別模型、圖像識別模型和匹配模型；將當前操作員的操作票復述步驟的語音發送給業務服務器，業務服務器通過其內置語音轉文字模型，將當前操作員的操作票復述步驟語音轉換成文字。

3.根據權利要求2所述的基于識別定位設備監護操作員操作工業設備的系統，其特征在于單目穿戴眼鏡設備包括眼鏡框架，眼鏡框架上設置有單目光波導鏡片、可調節硅膠眼睛托架、攝像頭、揚聲器、電源、typc接口以及無線通訊模塊；電源為攝像頭、揚聲器供電；單目光波導鏡片能夠顯示當前操作票步驟內容文字；揚聲器用于記錄當前操作員的操作票復述步驟的語音，攝像頭用于記錄當前操作員的操作票復述步驟的視頻，無線通訊模塊用于語音和視頻的傳輸。

4.根據權利要求3所述的基于識別定位設備監護操作員操作工業設備的系統，其特征在于所述的AI視頻服務器中設置有預訓練好的AI識別模型，該AI識別模型通過GPU服務器對采集到的圖片進行訓練獲得的。

5.根據權利要求1或4所述的基于識別定位設備監護操作員操作工業設備的系統，其特征在于該系統的具體實現步驟如下：

步驟1、通過編碼規則對采集到的操作票步驟內容進行編碼；

步驟2、針對已編碼的操作票步驟內容，首先找到操作票對應的工業設備，提取該工業設備的編碼，同時提取工業設備上每一個部位的編碼；然后根據需求生成區域二維碼，在工業設備的指定區域內黏貼對應的區域二維碼，通過區域二維碼快速讓AR眼鏡定位到指定工業設備以及操作票步驟所需要用到的部位區域；

步驟3、在業務服務器上設計語音轉文字模型、文字轉換語音模型和匹配模型；

文字轉換語音模型用于將操作票步驟內容中的文字轉換為語音；語音轉文字模型用于將操作員的操作票復述步驟語音轉換為文字；匹配模型用于將語音轉文字模型輸出的文字與對應的操作票步驟內容進行比對，系統通過編碼規則進行匹配校驗操作票內容是否符合，將符合的操作票自動轉入待執行的選票庫中；

步驟4、操作員佩戴單目穿戴眼鏡設備，單目穿戴眼鏡設通過現實增強技術在眼鏡的單目光波導鏡片上呈現業務功能菜單欄，操作員可通過語音指令在單目光波導鏡片上展示操作票內容，并語音播報操作票每一步的步驟，與傳統的監護人唱票方式一致，操作員復述每一步唱票步驟，通過單目穿戴眼鏡設備掃描區域二維碼對工業設備、開關位置進行定位，通過手勢指向進行指定開關定位。

6.根據權利要求1所述的基于識別定位設備監護操作員操作工業設備的系統，其特征在于步驟1具體實現如下：

1-1.先將每張操作票步驟所需的設備信息、狀態信息、操作信息進行編碼拆分，由于組成每張操作票步驟的所有編碼都是唯一的，因此將每張操作票步驟的形成的編碼串錄入系統編碼庫；

1-2.其次采集每張操作票步驟的圖像，并將所有采集的圖片進行預處理：將模糊的、目標缺失的、畫面扭曲的、反光的圖片進行篩選剔除；

所述的采集到的圖像包含每張操作票的每一個步驟的前后狀態圖，通過后狀態圖像來判斷當前步驟是否完成；進一步的，當僅僅用于檢查的時候，前后狀態圖像可以一致；

然后將預處理后的圖像進行人工分類標注，得到帶標注的數據集，將帶標注的數據集劃分為訓練集和測試集，劃分后的訓練集和測試集其樣本分布一致；

最后用訓練集通過YOLO3算法進行訓練得到圖像識別模型；通過測試集對圖像識別模型進行校驗和驗證，根據驗證結果進行微調后得到最優的圖像識別模型。