[發明專利]設備動作檢測方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202110228133.4
• 申請日: 2021-03-01
• 公開（公告）號: CN112949490A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 張發恩;祝木林
• 申請（專利權）人: 創新奇智（青島）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 余菲

1.一種設備動作檢測方法，其特征在于，所述方法包括：

從拍攝待測設備得到的第一視頻中提取所述第一視頻的第一光流特征，以及根據預設采樣策略從所述第一視頻中采樣得到多個圖像幀；

將所述第一光流特征調整為與所述多個圖像幀的通道數相同的第二光流特征；

將所述第二光流特征和所述多個圖像幀作為復數特征，輸入經過訓練的動作檢測模型，得到由所述動作檢測模型對所述第二光流特征和所述多個圖像幀進行檢測所輸出的檢測結果，所述檢測結果包括表征所述待測設備的操作動作是否異常的信息。

2.根據權利要求1所述的方法，其特征在于，將所述第二光流特征和所述多個圖像幀作為復數特征，輸入經過訓練的動作檢測模型，得到由所述動作檢測模型對所述第二光流特征和所述多個圖像幀進行檢測所輸出的檢測結果，包括：

將所述第二光流特征和所述多個圖像幀分別作為所述復數特征的實部與虛部，或將所述第二光流特征和所述多個圖像幀分別作為所述復數特征的虛部與實部，輸入所述動作檢測模型；

通過所述動作檢測模型中的特征提取模塊對所述第二光流特征和所述多個圖像幀進行特征提取，得到所述第二光流特征和所述多個圖像幀的高階特征；

通過所述動作檢測模型中的特征融合模塊對所述高階特征進行融合，得到融合后的高階特征；

通過所述動作檢測模型中的動作識別模塊，檢測所述融合后的高階特征得到所述檢測結果。

3.根據權利要求1所述的方法，其特征在于，根據預設采樣策略從所述第一視頻中采樣得到多個圖像幀，包括：

從所述第一視頻中選擇所述待測設備執行操作動作期間的視頻片段作為第二視頻；

以預設采集頻率從所述第二視頻中采集得到所述多個圖像幀。

4.根據權利要求1所述的方法，其特征在于，在從拍攝待測設備得到的第一視頻中提取第一光流特征之前，所述方法還包括：

獲取視頻數據集，所述視頻數據集包括拍攝待測設備得到的多個第三視頻；

從所述多個第三視頻中的每個第三視頻中提取一組訓練數據，每組訓練數據包括從相應的第三視頻中提取得到的第三光流特征、多個圖像幀及與相應第三視頻中的待測設備的操作動作對應的標簽；

通過所述每組訓練數據訓練深度復數網絡，得到所述經過訓練的動作檢測模型。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

當所述檢測結果表示所述待測設備的操作動作異常時，發出提示信息，其中，所述檢測結果包括所述操作動作的動作類型。

6.一種設備動作檢測裝置，其特征在于，所述裝置包括：

特征提取單元，用于從拍攝待測設備得到的第一視頻中提取所述第一視頻的第一光流特征，以及根據預設采樣策略從所述第一視頻中采樣得到多個圖像幀；

特征調整單元，用于將所述第一光流特征調整為與所述多個圖像幀的通道數相同的第二光流特征；

檢測單元，用于將所述第二光流特征和所述多個圖像幀作為復數特征，輸入經過訓練的動作檢測模型，得到由所述動作檢測模型對所述第二光流特征和所述多個圖像幀進行檢測所輸出的檢測結果，所述檢測結果包括表征所述待測設備的操作動作是否異常的信息。

7.根據權利要求6所述的裝置，其特征在于，所述檢測單元還用于：

將所述第二光流特征和所述多個圖像幀分別作為所述復數特征的實部與虛部，或將所述第二光流特征和所述多個圖像幀分別作為所述復數特征的虛部與實部，輸入所述動作檢測模型；

通過所述動作檢測模型中的特征提取模塊對所述第二光流特征和所述多個圖像幀進行特征提取，得到所述第二光流特征和所述多個圖像幀的高階特征；

通過所述動作檢測模型中的特征融合模塊對所述高階特征進行融合，得到融合后的高階特征；

通過所述動作檢測模型中的動作識別模塊，檢測所述融合后的高階特征得到所述檢測結果。