[發明專利]基于結構化雙流卷積神經網絡的生產操作行為識別方法、裝置、設備、系統及存儲介質

有效

• 申請號: 201910376081.8
• 申請日: 2019-05-07
• 公開（公告）號: CN110222574B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 胡海洋;朱相玲
• 申請（專利權）人: 杭州智尚云科信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 解明鎧;劉靜靜

1.一種基于結構化雙流卷積神經網絡的生產操作行為識別方法，其特征在于，包括如下步驟：

獲取生產環境的監控視頻，將監控視頻分解為圖像幀序列和光流序列；

將所述圖像幀序列和光流序列輸入結構化雙流卷積神經網絡，得到每幀圖像的動作類別和時間戳信息；

所述時間戳信息通過向量標簽VideoTriple＝(start,main,end)表達；

其中：

start的值表示該圖像幀屬于某一生產動作開始的概率；

main的值表示該圖像幀屬于某一生產動作主體的概率；

end的值表示該圖像幀屬于某一生產動作結束的概率；

所述結構化雙流卷積神經網絡引入有注意力機制；

依據所述動作類別和時間戳信息，計算得到生產動作實例。

2.如權利要求1所述的基于結構化雙流卷積神經網絡的生產操作行為識別方法，其特征在于，所述結構化雙流卷積神經網絡的訓練過程包括：

利用先驗數據對雙流卷積神經網絡進行訓練，得到預訓練參數；

利用先驗數據和預訓練參數對結構化雙流卷積神經網絡進行訓練。

3.如權利要求2所述的基于結構化雙流卷積神經網絡的生產操作行為識別方法，其特征在于，所述先驗數據包括提取自訓練視頻數據的光流序列以及標記有時間戳信息的圖像幀序列。

4.如權利要求2或3所述的基于結構化雙流卷積神經網絡的生產操作行為識別方法，其特征在于，所述雙流卷積神經網絡包括結構相同的時間流卷積神經網絡和空間流卷積神經網絡，對時間流卷積神經網絡和空間流卷積神經網絡的輸出進行加權平均后，利用分類器輸出；

所述結構化雙流卷積神經網絡包括結構相同的時間流卷積神經網絡和空間流卷積神經網絡，對時間流卷積神經網絡和空間流卷積神經網絡的輸出進行時空雙線性壓縮融合后，引入注意力機制計算全連接層，最后利用分類器輸出。

5.如權利要求1所述的基于結構化雙流卷積神經網絡的生產操作行為識別方法，其特征在于，所述生產操作行為識別方法還包括：

將識別的生產動作實例與標準生產操作行為進行比對，分析生產動作實例是否符合操作規范。

6.基于結構化雙流卷積神經網絡的生產操作行為識別裝置，其特征在于，包括：

第一模塊，用于獲取生產環境下的監控視頻，將監控視頻分解為圖像幀序列和光流序列；

第二模塊，用于將所述圖像幀序列和光流序列輸入結構化雙流卷積神經網絡，得到每幀圖像的動作類別和時間戳信息；

所述時間戳信息通過向量標簽VideoTriple＝(start,main,end)表達；

其中：

start的值表示該圖像幀屬于某一生產動作開始的概率；

main的值表示該圖像幀屬于某一生產動作主體的概率；

end的值表示該圖像幀屬于某一生產動作結束的概率；

所述結構化雙流卷積神經網絡引入有注意力機制；

第三模塊，用于依據所述動作類別和時間戳信息，計算得到生產動作實例。

7.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1～5任一項所述的基于結構化雙流卷積神經網絡的生產操作行為識別方法。

8.一種基于結構化雙流卷積神經網絡的生產操作行為識別系統，包括影像采集裝置以及服務器，所述服務器包括存儲器和處理器，所述存儲器內存儲有計算機程序，其特征在于，所述服務器從影像采集裝置獲取生產環境的監控視頻；所述處理器執行所述計算機程序時，實現如權利要求1～5任一項所述的基于結構化雙流卷積神經網絡的生產操作行為識別方法。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1～5任一項所述的基于結構化雙流卷積神經網絡的生產操作行為識別方法。