[發明專利]設備動作檢測方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202110228133.4
• 申請日: 2021-03-01
• 公開（公告）號: CN112949490A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 張發恩;祝木林
• 申請（專利權）人: 創新奇智（青島）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 余菲

本申請提供一種設備動作檢測方法、裝置、電子設備及可讀存儲介質。方法包括：從拍攝待測設備得到的第一視頻中提取第一視頻的第一光流特征，以及根據預設采樣策略從第一視頻中采樣得到多個圖像幀；將第一光流特征調整為與多個圖像幀的通道數相同的第二光流特征；將第二光流特征和多個圖像幀作為復數特征，輸入經過訓練的動作檢測模型，得到由動作檢測模型對第二光流特征和多個圖像幀進行檢測所輸出的檢測結果，檢測結果包括表征待測設備的操作動作是否異常的信息，基于此，有利于提高對待測設備的操作動作檢測的準確性與可靠性，避免因特征單一而影響待測設備檢測的準確性。

技術領域

本申請涉及人工智能領域，具體而言，涉及一種設備動作檢測方法、裝置、電子設備及可讀存儲介質。

背景技術

隨著人工智能在工業質檢的應用愈發普及，利用攝像頭，采集實時畫面，再結合機器視覺及大數據分析等多項能力，構建智能工廠成為工業發展的一個趨勢。比如，在生產制造行業，需要檢測設備的操作動作是否異常?，F有的檢測模型主要是基于實數的神經網絡模型，采集的特征單一，從而影響模型識別的準確性。比如，基于監控視頻，在進行設備動作檢測識別時，僅采集圖像幀以獲取圖像特征，存在遺漏其他特征的情況，從而影響檢測模型識別的準確性與可靠性。

發明內容

本申請實施例的目的在于提供一種設備動作檢測方法、裝置、電子設備及可讀存儲介質，能夠改善對設備操作動作檢測識別的準確性和可靠性低的問題。

為了實現上述目的，本申請的實施例通過如下方式實現：

第一方面，本申請實施例提供一種設備動作檢測方法，所述方法包括：

從拍攝待測設備得到的第一視頻中提取所述第一視頻的第一光流特征，以及根據預設采樣策略從所述第一視頻中采樣得到多個圖像幀；

將所述第一光流特征調整為與所述多個圖像幀的通道數相同的第二光流特征；

將所述第二光流特征和所述多個圖像幀作為復數特征，輸入經過訓練的動作檢測模型，得到由所述動作檢測模型對所述第二光流特征和所述多個圖像幀進行檢測所輸出的檢測結果，所述檢測結果包括表征所述待測設備的操作動作是否異常的信息。

在上述的實施方式中，通過提取第一視頻中的第一光流特征及多個圖像幀以作為復數特征，如此，可以從多個模態對視頻進行特征提取，然后由動作檢測模型對復數特征進行檢測，基于此，有利于提高對待測設備的操作動作檢測的準確性與可靠性，避免因特征單一而影響待測設備檢測的準確性。

結合第一方面，在一些可選的實施方式中，將所述第二光流特征和所述多個圖像幀作為復數特征，輸入經過訓練的動作檢測模型，得到由所述動作檢測模型對所述第二光流特征和所述多個圖像幀進行檢測所輸出的檢測結果，包括：

將所述第二光流特征和所述多個圖像幀分別作為所述復數特征的實部與虛部，或將所述第二光流特征和所述多個圖像幀分別作為所述復數特征的虛部與實部，輸入所述動作檢測模型；

通過所述動作檢測模型中的特征提取模塊對所述第二光流特征和所述多個圖像幀進行特征提取，得到所述第二光流特征和所述多個圖像幀的高階特征；

通過所述動作檢測模型中的特征融合模塊對所述高階特征進行融合，得到融合后的高階特征；

通過所述動作檢測模型中的動作識別模塊，檢測所述融合后的高階特征得到所述檢測結果。

在上述的實施方式中，動作檢測模型可以對第二光流特征和多個圖像幀進行融合以得到高階特征，然后由動作檢測模型對高階特征進行檢測，從而提高對待測設備的操作動作檢測的準確性與可靠性。

結合第一方面，在一些可選的實施方式中，根據預設采樣策略從所述第一視頻中采樣得到多個圖像幀，包括：

從所述第一視頻中選擇所述待測設備執行操作動作期間的視頻片段作為第二視頻；