[發明專利]一種基于稠密邊界時空網絡的時序行為檢測方法

在審

• 申請號: 202110275575.4
• 申請日: 2021-03-15
• 公開（公告）號: CN112990013A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 潘曉英;薛玉鋒;劉妮;王紅玉
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安新思維專利商標事務所有限公司 61114
• 代理人: 黃秦芳

本發明公開一種基于稠密邊界時空網絡的時序行為檢測方法，包括如下步驟：步驟1：采用two?stream提取待檢測視頻的時空特征，得到時空特征圖；步驟2：采用LSTM學習視頻信息中的長期依賴關系，增強上下文信息特征，獲得多尺度的稠密邊界特征；步驟3：采用稠密邊界提取模塊，得到盡可能多的候選提議時序片段，并預測所述候選提議時序片段的置信度得分；步驟4：采用Soft?NMS方法對提取出的若干候選片段進行篩選，去除視頻中的冗余片段。本發明方法能夠提高特征的多樣性，保證時序定位的精度，生成精準的時間邊界候選，從而提升時序行為檢測的召回率和AreaUnder Curve(AUC)大小。

技術領域

本發明屬于計算機視覺和模式識別技術領域，具體涉及一種基于稠密邊界時空網絡的時序行為檢測方法。

背景技術

隨著目前信息數據爆炸式增長，視頻數據成為當代社會的主流數據，特別地，視頻大多數是人體的行為活動，為了有效地解釋這些數據，人體時序行為檢測成為計算機視覺領域中非常重要的課題。時序行為檢測作為視頻理解的基石，其目的是在一段未剪輯的視頻中找到動作的開始時間點和結束時間點。目前時序行為檢測技術已應用于多個領域，例如教育、社交、娛樂、短視頻等多個場景。以短視頻領域為例，用戶在上傳一段原始視頻后，可以通過時序行為檢測算法功能接口完成動作視頻的提取，并且進行智能剪輯，幫助用戶自動生成更加專業的視頻。

時序行為檢測分為兩個步驟：首先，盡可能多的生成動作開始時間與結束時間提名；其次，通過對提取出的開始時間、結束時間提名進行評估，最終得到高精度、高召回率的動作提名。現階段主流的時序行為檢測方法是滑動窗口法(sliding-windows)和片段級別的動作概率法(snippet-level actionness score)。但是，這兩種檢測方法對時序行為檢測的精度普遍偏低。

發明內容

本發明的目的是提供一種基于稠密邊界時空網絡的時序行為檢測方法，解決現有技術中檢測方法對時序行為檢測的精度普遍偏低的缺點。

為了達到上述目的，本發明的技術方案是：

一種基于稠密邊界時空網絡的時序行為檢測方法，包括以下步驟：

步驟1：采用two-stream提取待檢測視頻的時空特征，生成RGB特征和光流特征；

步驟2：將RGB特征和光流特征分別通過堆疊的兩層一維卷積，然后融合得到融合特征；將3路特征序列再分別通過LSTM網絡與一維卷積網絡，產生3路增強特征序列，然后將3路增強特征序列進行融合，得到動作概率特征；

步驟3：將動作概率特征和融合特征輸入候選特征生成層，將這兩類特征轉化為特征序列，輸入到稠密邊界提取模塊。動作概率特征序列通過3層二維卷積得到動作完整性置信度圖，融合特征序列通過1個三維卷積和2個二維卷積得到邊界置信度圖；

步驟4：采用Soft-NMS方法對提取出的若干候選片段進行篩選，去除視頻中的冗余片段。

進一步的，步驟2中，針對視頻上下文信息的時序性，使用長短期記憶網絡，增強上下文信息信息的特征，獲得動作概率特征和融合特征。

進一步的，步驟3中，所述稠密邊界提取模塊采用稠密動作概率生成子模塊和稠密邊界生成子模塊，得到動作完整性置信度圖與邊界置信度圖。

一種基于稠密邊界時空網絡的時序行為檢測系統，包括：

特征提取模塊，采用two-stream提取待檢測視頻的時空特征，得到時空特征圖；

時序增強模塊，采用LSTM學習視頻信息中的長期依賴關系，增強上下文信息的特征，獲得多尺度的稠密邊界特征。

稠密邊界提取模塊，采用稠密動作概率生成子模塊和稠密邊界生成子模塊，得到盡可能多地選提議時序片段，并預測所述候選提議時序片段的置信度得分；