[發明專利]基于結構化雙流卷積神經網絡的生產操作行為識別方法、裝置、設備、系統及存儲介質

有效

• 申請號: 201910376081.8
• 申請日: 2019-05-07
• 公開（公告）號: CN110222574B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 胡海洋;朱相玲
• 申請（專利權）人: 杭州智尚云科信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 解明鎧;劉靜靜

本申請公開了基于結構化雙流卷積神經網絡的生產操作行為識別方法、裝置、設備、系統及存儲介質，其中，生產操作行為識別方法包括如下步驟：獲取生產環境的監控視頻，將監控視頻分解為圖像幀序列和光流序列；將所述圖像幀序列和光流序列輸入結構化雙流卷積神經網絡，得到每幀圖像的動作類別和時間戳信息；所述結構化雙流卷積神經網絡引入有注意力機制；依據所述動作類別和時間戳信息，計算得到生產動作實例。本申請提供的生產操作行為識別方法能夠快速準確識別視頻中生產操作行為，滿足智能制造的要求。

技術領域

本申請涉及視頻圖像分析技術領域，特別是涉及基于結構化雙流卷積神經網絡的生產操作行為識別方法、裝置、設備、系統及存儲介質。

背景技術

計算機視覺技術被應用于多個研究領域，包括人物識別、圖像重建以及動作識別等。對于大型工廠的監控視頻分析，許多工作將計算機視覺技術框架應用于生產操作行為識別工程，以確保員工安全、生產調度以及提高全局設備效率等。

目前，智能監控每天產生數以萬計的有價值的視頻數據，為了充分利用這些視頻數據，需要設計一個能夠從大量視頻中自動提取特征和模式，并且識別工人行為以及機器行為的生產操作行為識別框架。通常，一段生產操作行為被認為是由對應控制結構的一系列單獨的活動組成，單個活動被定義為是一個特殊的任務，例如人類行為或者機器動作。因此，生產操作行為識別可以由計算機視覺技術解決。

特別的，智能監控下的生產操作行為識別主要包括識別工人和機器等的行為，計算每個任務的開始時間和結束時間，以及分析生產操作行為的模式，因此，生產操作行為識別過程主要涉及動作識別和時序動作識別等。目前許多工作都有一個固定的傳統模式，分為以下兩個步驟：1)根據實際問題，做出合理的假設并計算復雜的特征；2)根據特征學習一個適合的模型。但是處理復雜的任務時，如動作識別，很難設計一個合理的標準，更別說計算如此復雜的特征。

近年來，視頻識別方向吸引了大量學者的注意，其中利用手工提取特征來解決視頻動作識別的方法可以歸納為以下三個步驟：1)根據假設，從圖像空域上(RGB)提取稠密的特征；2)應用相關方法(如Fisher向量，視覺詞袋法等)來組合這些特征，使其成為固定尺度的特征；3)基于特征描述訓練一個判別模型(如支持向量機)來區分動作類別。除了在視頻中提取局部特征外，一些淺層特征表示還利用密集點軌跡來識別動作。此外，還有學者提出了基于稠密點軌跡和運動邊界描述的視頻表征方法，顯著提高了視頻動作識別性能。近年來，通過Fisher向量將一些手工特征結合稠密點軌跡的方法也取得了不錯的性能。

然而，生產操作行為識別技術有其復雜性與特殊性，現有的圖像處理方案不能夠滿足生產操作行為識別的準確度以及效率。

發明內容

基于此，需要提供一種快速準確識別視頻中生產操作行為的方法，以滿足智能制造的要求。

一種基于結構化雙流卷積神經網絡的生產操作行為識別方法，包括如下步驟：

獲取生產環境的監控視頻，將監控視頻分解為圖像幀序列和光流序列；

將所述圖像幀序列和光流序列輸入結構化雙流卷積神經網絡，得到每幀圖像的動作類別和時間戳信息；所述結構化雙流卷積神經網絡引入有注意力機制；

依據所述動作類別和時間戳信息，計算得到生產動作實例。

本申請提供的基于結構化雙流卷積神經網絡的生產操作行為識別方法，使用結構化雙流卷積神經網絡來識別視頻圖像中的動作，并在結構化雙流卷積神經網絡中引入注意力機制，增強對顯著動作區域的檢測。

以下還提供了若干可選方式，但并不作為對上述總體方案的額外限定，僅僅是進一步的增補或優選，在沒有技術或邏輯矛盾的前提下，各可選方式可單獨針對上述總體方案進行組合，還可以是多個可選方式之間進行組合。

可選地，所述結構化雙流卷積神經網絡的訓練過程包括：