[發明專利]基于注意力機制目標檢測的設備綜合效率分析方法、裝置、系統、設備及存儲介質

有效

• 申請號: 201910376669.3
• 申請日: 2019-05-07
• 公開（公告）號: CN110222575B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 胡海洋;朱相玲
• 申請（專利權）人: 杭州智尚云科信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06K9/46;G06N3/04
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 解明鎧;劉靜靜

1.基于注意力機制目標檢測的設備綜合效率分析方法，其特征在于，包括如下步驟：

獲取生產環境的監控視頻，利用目標識別模型對監控視頻中的至少三個連續幀進行識別，得到各幀中包含待分析對象的感興趣區域；

根據待分析對象的不同，對各感興趣區域進行如下處理中的一種：

針對部件運動幅度大的設備或工件、和動作模式模糊的車間工人，利用幀間差分法識別待分析對象的工作狀態；

針對顏色特征顯著的設備或工件，利用基于HSV空間的幀間差分法識別待分析對象的工作狀態；

針對動作模式固定的設備或工件，利用基于ORB特征的特征匹配方法識別待分析對象的工作狀態；

根據待分析對象的工作狀態，計算設備綜合效率。

2.如權利要求1所述的基于注意力機制目標檢測的設備綜合效率分析方法，其特征在于，利用幀間差分法識別待分析對象的工作狀態，具體包括：

在三個連續幀中，對第一幀感興趣區域和第二幀感興趣區域進行幀間差分運算，得到第一幀間差分圖；對第二幀感興趣區域和第三幀感興趣區域進行幀間差分運算，得到第二幀間差分圖；

依據設定閾值對第一幀間差分圖和第二幀間差分圖分別進行二值化操作，得到二值化的第一幀間差分圖和二值化的第二幀間差分圖；

對二值化的第一幀間差分圖和二值化的第二幀間差分圖進行邏輯與運算，依據運算結果得到待分析對象的工作狀態。

3.如權利要求1所述的基于注意力機制目標檢測的設備綜合效率分析方法，其特征在于，利用基于HSV空間的幀間差分法識別待分析對象的工作狀態，具體包括：

將感興趣區域轉換為HSV顏色空間下的圖像，并對該圖像進行二值化處理；

在三個連續幀中，對二值化的第一幀感興趣區域和二值化的第二幀感興趣區域進行幀間差分運算，得到第三幀間差分圖；對二值化的第二幀感興趣區域和二值化的第三幀感興趣區域進行幀間差分運算，得到第四幀間差分圖；

對第三幀間差分圖和第四幀間差分圖進行邏輯與運算，依據運算結果得到待分析對象的工作狀態。

4.如權利要求1所述的基于注意力機制目標檢測的設備綜合效率分析方法，其特征在于，利用基于ORB特征的特征匹配方法識別待分析對象的工作狀態，具體包括：

計算感興趣區域對應的ORB特征算子，將該ORB特征算子與對應區域的日常狀態圖的ORB特征算子進行匹配，依據匹配狀態，得到待分析對象的工作狀態。

5.如權利要求1所述的基于注意力機制目標檢測的設備綜合效率分析方法，其特征在于，所述目標識別模型的訓練過程包括：

獲取用于訓練的先驗數據集，該先驗數據集中包括若干特征圖片，每個特征圖片中包括一個待分析對象的感興趣區域，每個待分析對象至少對應1000張特征圖片；

將先驗數據集輸入神經網絡模型進行訓練，得到所述目標識別模型。

6.基于注意力機制目標檢測的設備綜合效率分析裝置，其特征在于，包括：

第一模塊，用于獲取生產環境的監控視頻，利用目標識別模型對監控視頻中的至少三個連續幀進行識別，得到各幀中包含待分析對象的感興趣區域；

第二模塊，用于根據待分析對象的不同，對各感興趣區域進行如下處理中的一種：針對部件運動幅度大的設備或工件、和動作模式模糊的車間工人，利用幀間差分法識別待分析對象的工作狀態；

針對顏色特征顯著的設備或工件，利用基于HSV空間的幀間差分法識別待分析對象的工作狀態；

針對動作模式固定的設備或工件，利用基于ORB特征的特征匹配方法識別待分析對象的工作狀態；

第三模塊，用于根據待分析對象的工作狀態，計算設備綜合效率。

7.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1～5任一項所述的基于注意力機制目標檢測的設備綜合效率分析方法。