[發明專利]基于注意力機制目標檢測的設備綜合效率分析方法、裝置、系統、設備及存儲介質

有效

• 申請號: 201910376669.3
• 申請日: 2019-05-07
• 公開（公告）號: CN110222575B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 胡海洋;朱相玲
• 申請（專利權）人: 杭州智尚云科信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 解明鎧;劉靜靜

本發明公開了基于注意力機制目標檢測的設備綜合效率分析方法、裝置、系統、設備及存儲介質，所述分析方法包括：首先，利用基于注意力機制目標檢測的方法，將生產環境下有效的設備和工人行為識別出來，剔除了無關的工廠環境和無效的設備；其次，對識別出來不同的設備和工人行為使用恰當的視頻分析方法進行有針對性的分析，提高了分析速度和準確率；最后，利用分析出來的結果進行效率計算和異常事件分析，實現了應用于工廠的設備綜合效率智能分析，自適應能力強、精度好、效率高。

技術領域

本發明涉及視頻圖像分析技術領域，特別是涉及基于注意力機制目標檢測的設備綜合效率分析方法、裝置、系統、設備及存儲介質。

背景技術

智能制造是具有信息自感知、自決策、自執行等功能的先進制造過程、系統與模式的總稱，具體體現在制造過程的各個環節與新一代信息技術深度融合，新一代信息技術包括物聯網、大數據、人工智能等。智能制造大體具有四大特征：以智能工廠為載體，以關鍵制造環節的智能化為核心，以端到端數據流為基礎，以網通互聯為支撐。

隨著智能制造的發展，工廠車間趨于無人化與全自動管理，如何在無人的環境下管理好工廠車間，確保車間的正常運行與生產效率已經成為迫在眉睫的問題。隨著近幾年人工智能的高速發展，視頻分析技術也得到了快速發展和應用，視頻分析技術接入各種攝像機以及DVR、DVS及流媒體服務器等各種視頻設備，通過智能化圖像識別處理技術，對車間狀態進行監控，通過實時分析，將分析數據傳導綜合監控平臺及客戶端。

工廠的生產車間的狀況復雜，在進行智能監控時通常至少面臨如下問題：

首先，生產車間內各類機器、搬運車輛、輔助器械等物體較多，時常彼此遮擋，不同工序操作的相似性以及車間內頻繁的光線強弱變化，都給視頻、圖像的分析與識別帶來了挑戰，傳統的視頻圖像分析方法對整張幀進行處理，自適應性不強，直接在工廠環境下應用效果欠佳。

其次，生產制造過程中各工序特征不一，具有工作時間不明確、工件復雜等弊端，傳統的單模型視頻、圖像分析模型直接應用時魯棒性弱、效率較低。

在工廠的車間環境下，由于智能監控存在諸多問題，因此在進行設備綜合效率分析時，通常采用人工記錄的方式，效率較低，且可靠性不高。

發明內容

基于此，針對生產車間內的設備綜合效率分析問題，提供一種基于注意力機制目標檢測的設備綜合效率分析方法，提高設備綜合效率分析的效率以及可靠性。

基于注意力機制目標檢測的設備綜合效率分析方法，包括如下步驟：

獲取生產環境的監控視頻，利用目標識別模型對監控視頻中的至少三個連續幀進行識別，得到各幀中包含待分析對象的感興趣區域；

根據待分析對象的不同，對各感興趣區域進行如下處理中的一種：

利用幀間差分法識別待分析對象的工作狀態；

利用基于HSV空間的幀間差分法識別待分析對象的工作狀態；

利用基于ORB特征的特征匹配方法識別待分析對象的工作狀態；

根據待分析對象的工作狀態，計算設備綜合效率。

本發明在進行智能制造下的視頻圖像分析時，使用加入了注意力機制的目標識別模型，能夠快速準確的識別判斷生產車間內與設備綜合效率(Overall EquipmentEffectiveness，簡稱oee)相關的各待分析對象的工作狀態，從而實時智能監測車間內的異常狀態，優化全自動生產制造過程。

本發明可以實施在各種生產環境下的車間，例如厚板制造流水線車間。

以下還提供了若干可選方式，但并不作為對上述總體方案的額外限定，僅僅是進一步的增補或優選，在沒有技術或邏輯矛盾的前提下，各可選方式可單獨針對上述總體方案進行組合，還可以是多個可選方式之間進行組合。