[發明專利]視頻分析方法及其相關的模型訓練方法、設備、裝置

在審

• 申請號: 202010053048.4
• 申請日: 2020-01-17
• 公開（公告）號: CN111291631A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 邵昊;劉宇
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

本申請公開了一種視頻分析方法及相關的模型訓練方法、設備、裝置，其中，視頻分析方法包括：獲取待分析視頻；利用預設網絡模型對待分析視頻進行特征提取，得到第一多維特征圖，其中，第一多維特征圖包含與待分析視頻對應的不同時序上的特征信息；利用偏移預測網絡對第一多維特征圖進行預測，得到偏移信息；利用偏移信息對第一多維特征圖的至少部分特征信息進行時序偏移，并基于偏移后的特征信息得到第二多維特征圖；利用預設網絡模型對第二多維特征圖進行分析，得到待分析視頻的分析結果信息。上述方案，能夠提高視頻分析的處理速度和準確度。

技術領域

本申請涉及人工智能技術領域，特別是涉及一種視頻分析方法及相關的模型訓練方法、設備、裝置。

背景技術

隨著神經網絡、深度學習等人工智能技術的發展，對神經網絡模型進行訓練，并利用經訓練的神經網絡模型完成分類、檢測等任務的方式，逐漸受到人們的青睞。

目前，現有的神經網絡模型一般是以靜態圖像作為處理對象而進行設計的，故當對包含時序信息且數據量較大的視頻進行分析處理時，難以確保視頻分析的處理速度和準確度。有鑒于此，如何提高視頻分析的處理速度和準確度成為亟待解決的問題。

發明內容

本申請提供一種視頻分析方法及相關的模型訓練方法、設備、裝置。

本申請第一方面提供了一種視頻分析方法，包括：獲取待分析視頻；利用預設網絡模型對待分析視頻進行特征提取，得到第一多維特征圖，其中，第一多維特征圖包含與待分析視頻對應的不同時序上的特征信息；利用偏移預測網絡對第一多維特征圖進行預測，得到偏移信息；利用偏移信息對第一多維特征圖的至少部分特征信息進行時序偏移，并基于偏移后的特征信息得到第二多維特征圖；利用預設網絡模型對第二多維特征圖進行分析，得到待分析視頻的分析結果信息。

因此，能夠直接對待分析視頻的時序信息進行建模，有利于提高視頻分析的處理速度，且通過時序偏移，能夠使空間信息和時序信息聯合交錯，故在此基礎上進行分析處理，有利于提高視頻分析的準確度。

其中，在利用偏移信息對第一多維特征圖的至少部分特征信息進行時序偏移，并基于偏移后的特征信息得到第二多維特征圖之前，還包括：利用權重預測網絡對第一多維特征圖進行預測，得到權重信息；利用偏移信息對第一多維特征圖的至少部分特征信息進行時序偏移，并基于偏移后的特征信息得到第二多維特征圖，包括：利用偏移信息對第一多維特征圖的至少部分特征信息進行時序偏移；利用權重信息對偏移后的特征信息進行加權處理；基于加權處理后的特征信息，得到第二多維特征圖。

因此，通過偏移、加權的處理步驟能夠直接得到空間、時序聯合交錯的特征信息，有利于提高視頻分析的處理速度和準確度。

其中，第一多維特征圖的維度包括時序維度和預設維度；利用偏移信息對第一多維特征圖的至少部分特征信息進行時序偏移，包括：按照預設維度從第一多維特征圖中選擇至少一組特征信息，其中，每組特征信息包括同一預設維度上對應不同時序的特征信息；利用偏移信息對至少一組特征信息在時序維度上進行偏移。

因此，按照預設維度從第一多維特征圖中選擇至少一組特征信息，且每組特征信息包括同一預設維度上對應不同時序的特征信息，并利用偏移信息對至少一組特征信息在時序維度上進行偏移，故能夠降低偏移處理的計算量，進一步有利于提高視頻分析的處理速度。

其中，預設維度為通道維度；和/或，偏移信息包括第一數量個偏移值，至少一組特征信息包括第一數量組第一特征信息；利用偏移信息對至少一組特征信息在時序維度上進行偏移包括：利用偏移信息中第i個偏移值對第i組第一特征信息在時序維度上進行偏移，得到第i組第二特征信息，其中，i為小于或等于第一數量的正整數。

因此，通過將與偏移信息中包含的偏移值數量相同組數的第一特征信息對應進行偏移處理，能夠直接得到空間、時序聯合交錯的特征信息，有利于提高視頻分析的處理速度和準確度。