[發明專利]一種基于第一視角視頻序列操作評估的電梯維保操作監測與指導裝置

有效

• 申請號: 201810030607.2
• 申請日: 2018-01-12
• 公開（公告）號: CN108275524B
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 王宏宇;賈同;吳成東;李永強;薛宇;馬博文
• 申請（專利權）人: 東北大學
• 主分類號: B66B5/00
• 分類號: B66B5/00;G06Q10/00;G06K17/00;G06N3/04;G06K9/00
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 陳玲玉;梅洪玉

本發明屬于人工智能電梯維保操作規范化指導技術領域，涉及一種基于第一視角視頻序列操作評估的電梯維保操作規范化指導裝置。該電梯維保操作監測與指導裝置包括第一視角視頻采集單元、二維碼標簽生成和張貼校對單元、流程操作評估單元、輸出單元和儲存單元。本發明設計視頻關鍵幀提取算法，通過提取監測視頻的視頻關鍵幀，利用關鍵幀所構建電梯維保操作間設備的圖像組數據庫，并且對深度學習訓練模塊進行正則化，從而獲得訓練后的電梯維保操作間設備狀態模型。在此基礎上，依據上下文信息完成流程識別，直接通過該裝置即可評估操作規范。本發明有效地減少電梯維修保護過程中的風險，達到真正意義上的智能監測與指導，具有非常高的實用性和可行性。

技術領域

本發明屬于人工智能電梯維保操作規范化指導技術領域，涉及一種基于第一視角視頻序列操作評估的電梯維保操作規范化指導裝置。

背景技術

電梯維護與保養是電梯安全運行的根本保障，維護保養的優劣是確保電梯安全高質運行的重要因素。良好的維護保養往往可彌補制造、安裝之先天不足。因此，及時進行技術維修保養，確保電梯運行處于最佳技術狀態，把故障隱患消除在萌芽狀態具有極其重要的意義。

由于電梯維護保養工作的特殊性和復雜性，容易發生意外事故。因此，維護人員在作業時，必須充分利用各種安全設施，嚴格執行安全操作規程，以避免或盡量減少意外事教的發生。如今的維保過程規范化監測更多地依靠維保人員的本身經驗，因此設計一套既能夠對維保過程進行實時監測又能夠輔助指導的裝置具有重要的意義。近年來，隨著視頻圖像識別技術的提高，可以實現對視頻中物體實時識別與跟蹤。如果在圖像識別與跟蹤的基礎上對圖像序列中的電梯維保操作流程進行實時分析，再并對比規范化的操作規則，就可以實現電梯維保操作實時監測與輔助指導。

發明內容

為了實現維保操作的實時監測與輔助指導，本發明提供一種基于第一視角視頻序列操作評估的電梯維保操作監測與指導裝置。

為解決上述技術問題，本發明采用的技術方案為：

一種基于第一視角視頻序列操作評估的電梯維保操作監測與指導裝置，包括第一視角視頻采集單元、二維碼標簽生成和張貼校對單元、流程操作評估單元、輸出單元和儲存單元；

所述的第一視角視頻采集單元，包括工業相機和視頻編碼器，用于獲取電梯操作間設備的二維碼標簽并定位電梯操作間設備的錨定區域；采用頭戴式工業相機將第一視角采集到的視頻信息通過網線傳輸到視頻解碼器，同時經網線傳輸到存儲單元進行數據備份；設計視頻關鍵幀提取算法，提取監測視頻的視頻關鍵幀；

所述的二維碼標簽生成和張貼校對單元，包括三個模塊：二維碼生成和張貼模塊、拓撲信息提取模塊以及二維碼張貼校對模塊，用于生成電梯維保操作間設備在識別過程中所需的二維碼標簽；采用標簽編碼器和標簽打印機生成電梯維保操作間設備在識別過程中所需的二維碼標簽，基于二維碼識別算法對區域內二維碼進行提取識別并構建二維碼所代表設備的控件拓撲結構信息；設計校對模型，針對電梯操作間設備拓撲信息計算二維碼的準確度，對張貼結果進行測預評估；

所述的流程操作評估單元，包括數據庫構建模塊、深度學習訓練模塊、深度學習識別模塊、流程分析模塊和操作評估模塊；流程操作評估單元將電梯維保操作間圖像數據庫中的設備信息數據傳輸到深度學習訓練模塊進行深度學習建模，通過深度學習識別模塊識別后，進行流程分析和操作規范評估；其中設備信息包括位置、錨定區域、屬性和狀態；具體步驟如下：