[發明專利]一種事件檢測模型訓練方法、裝置以及事件檢測方法

有效

• 申請號: 201810277169.X
• 申請日: 2018-03-30
• 公開（公告）號: CN108491817B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 孫源良;李彩虹;李長升;樊雨茂
• 申請（專利權）人: 國信優易數據股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 張海洋

本發明提供了一種事件檢測模型訓練方法、裝置以及事件檢測方法，其中事件檢測模型訓練方法包括：獲取多個帶有標簽的訓練視頻中的訓練圖像幀；使用目標神經網絡為每個訓練視頻中的所述訓練圖像幀提取特征向量；以每個訓練視頻為單位，使用自注意力機制處理網絡對每個訓練視頻的特征向量構成的特征向量矩陣進行至少兩輪權重賦值；將進行了權重賦值的特征向量矩陣輸入至類別預測網絡進行類別預測，獲得所述訓練視頻的事件分類結果的概率向量；根據所述事件分類結果的概率向量以及由所述訓練視頻的標簽構成的標簽向量之間的比對結果，對事件檢測模型進行訓練。該方法能夠在不影響模型精度的前提下，減少計算資源以及訓練時間的耗費。

技術領域

本發明涉及深度學習技術領域，具體而言，涉及一種事件檢測模型訓練方法、裝置以及事件檢測方法。

背景技術

隨著神經網絡在圖像、視頻、語音、文本等領域的迅猛發展，推動了一系列智能產品的落地，用戶對基于神經網絡的各種模型的精度要求也越來越高。在基于神經網絡構建事件檢測模型的時候，為了讓神經網絡充分學習視頻中圖像的特征，以提升事件檢測模型的分類，需要將大量的訓練視頻輸入到神經網絡中，對神經網絡進行訓練。

但是在訓練視頻中通常會包括非常多的圖像，數據量是非常龐大的。使用這些訓練視頻對神經網絡訓練的時候，雖然可以提高訓練所得到的模型的精度，但是也正是由于數據量過多，會導致模型訓練過程中所需要的計算量龐大，耗費過多的計算資源以及訓練時間。

發明內容

有鑒于此，本發明實施例的目的在于提供一種事件檢測模型訓練方法、裝置以及事件檢測方法，能夠在不影響模型精度的前提下，減少訓練過程中所需要的計算量，減少計算資源以及訓練時間的耗費。

第一方面，本發明實施例提供了一種事件檢測模型訓練方法，包括：

獲取多個帶有標簽的訓練視頻中的訓練圖像幀；

使用目標神經網絡為每個訓練視頻中的所述訓練圖像幀提取特征向量；

以每個訓練視頻為單位，使用自注意力機制處理網絡對每個訓練視頻的特征向量構成的特征向量矩陣進行至少兩輪權重賦值；

將進行了權重賦值的特征向量矩陣輸入至類別預測網絡進行類別預測，獲得所述訓練視頻的事件分類結果的概率向量；

根據所述事件分類結果的概率向量以及由所述訓練視頻的標簽構成的標簽向量之間的比對結果，對所述目標神經網絡、所述自注意力機制處理網絡以及所述類別預測網絡進行訓練。

結合第一方面，本發明實施例提供了第一方面的第一種可能的實施方式，其中：所述獲取多個帶有標簽的訓練視頻中的訓練圖像幀，具體包括：

獲取多個帶有標簽的訓練視頻；

按照預設采樣頻率，對所述訓練視頻進行采樣；

將對每個訓練視頻采樣得到的圖像作為該訓練視頻中的訓練圖像幀。

結合第一方面，本發明實施例提供了第一方面的第二種可能的實施方式，其中：采用如下方式使用自注意力機制處理網絡對訓練視頻的特征向量矩陣進行權重賦值：

為訓練視頻的特征向量矩陣設置第一權重，并使用預設激活函數將設置有第一權重的特征向量矩陣進行激活；

為激活后的特征向量矩陣設置第二權重，得到所述訓練視頻對應的多維自注意力向量；

為所述多維自注意力向量增加預設約束，使得所述多維自注意力向量保持稀疏結構，以及保證所述多維自注意力向量中各向量表征的各訓練視頻幀之間具有對應關聯。

結合第一方面，本發明實施例提供了第一方面的第三種可能的實施方式，其中：為所述多維自注意力向量增加預設約束，包括：