[發明專利]基于多時間分辨率時態語義聚合網絡的時序動作定位方法

有效

• 申請號: 202210448080.1
• 申請日: 2022-04-26
• 公開（公告）號: CN114821420B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 張海平;馬琮皓;胡澤鵬;劉旭;管力明;施月玲
• 申請（專利權）人: 杭州電子科技大學;杭州電子科技大學信息工程學院
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/44;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種基于多時間分辨率時態語義聚合網絡的時序動作定位方法，包括：獲取原始視頻并進行預處理，預處理為從原始視頻中提取特征序列并注釋標簽；復制特征序列為N＇份，并通過卷積層將復制后的各特征序列的時間分辨率調整為不同值；建立多時間分辨率時態語義聚合網絡；將時間分辨率調整后的各特征序列一一對應輸入子模塊，采用分類損失和回歸損失訓練多時間分辨率時態語義聚合網絡；利用訓練好的多時間分辨率時態語義聚合網絡預測待識別視頻的動作開始時間、動作結束時間、動作種類和置信分數。該方法可獲得更靈活更具魯棒性的上下文關系表達，并大大提高計算能力和時序動作定位的準確性。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于多時間分辨率時態語義聚合網絡的時序動作定位方法。

背景技術

近年來，互聯網上的多媒體正在迅速發展，導致每分鐘共享的視頻數量越來越多。為了應對信息爆炸，理解和分析這些視頻是必要的，以便于用于各種目的，如搜索，推薦，排名等。視頻理解旨在通過智能分析技術，自動化地對視頻中的內容進行識別和解析，涉及生活的多個方面，已經發展成一個十分廣闊的學術研究和產業應用方向，主要有動作識別和時序動作定位等基礎領域。

在時序動作定位領域，視頻往往沒有被剪輯，時長較長，且動作通常只發生在視頻中的一小段時間內，視頻可能包含多個動作，也可能不包含動作，即為背景類。時序動作定位不僅要預測視頻中包含了什么動作，還要預測動作的起始和終止時刻?，F有方法證明，使用視頻上下文來檢測動作是有效的。上下文指的是不屬于目標動作但攜帶有價值指示性信息的框架?，F有技術一般僅使用時態上下文，缺點是往往攜帶的信息比較單一，或將語義上下文和時態上下文結合為基于圖卷積網絡的子圖定位問題，但仍不能適應時間跨度變化較大的時序行為片段，生成的代碼特性包含信息不夠豐富多樣，使得預測的候選時序區間邊界不夠靈活，時序邊界不夠精確。因此，如何更好的處理時間與語義信息以及如何處理大跨度時序行為片段是提升時序動作定位準確率的關鍵之一。

發明內容

本發明的目的在于針對上述問題，提出一種基于多時間分辨率時態語義聚合網絡的時序動作定位方法，通過將時間與語義上下文結合到視頻特征中，同時對每個時序點進行局部與全局的聯合建模，得到更靈活更具魯棒性的上下文關系表達，提高了時序動作定位的準確性。

為實現上述目的，本發明所采取的技術方案為：

本發明提出的基于多時間分辨率時態語義聚合網絡的時序動作定位方法，包括如下步驟：

S1、獲取原始視頻并進行預處理，預處理為從原始視頻中提取特征序列特征序列X攜帶有注釋標簽其中，時間分辨率T＝S/σ，S為原始視頻的總幀數，σ為不同片段x_i之間間隔的幀數，C為片段x_i的特征維度，k_n為第n個動作，t_s,n、t_e,n和C_n依次為第n個動作的開始時間、結束時間和動作種類，N為特征序列X的動作數量；

S2、復制特征序列X為N＇份，并通過卷積層將復制后的各特征序列X的時間分辨率調整為不同值；

S3、建立多時間分辨率時態語義聚合網絡，多時間分辨率時態語義聚合網絡包括依次連接的第一特征提取單元、第二特征提取單元、第三特征提取單元和后處理模塊，第一特征提取單元包括N＇個并行的子模塊，子模塊包括依次連接的第一時態語義上下文融合模塊和第一注意力單元，第二特征提取單元用于將各第一注意力單元的輸出特征圖進行相加聚合，第三特征提取單元包括依次連接的第二注意力單元、第七特征提取單元和第二時態語義上下文融合模塊，其中：