[發明專利]一種視頻的時序動作檢測方法、裝置、設備及存儲介質

有效

• 申請號: 202010129341.4
• 申請日: 2020-02-28
• 公開（公告）號: CN111327949B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 杜吉祥;彭肖肖;張洪博;汪冠鴻
• 申請（專利權）人: 華僑大學
• 主分類號: H04N21/44
• 分類號: H04N21/44;G06K9/62;G06K9/00
• 代理公司: 廈門智慧呈睿知識產權代理事務所(普通合伙) 35222
• 代理人: 陳槐萱

1.一種視頻的時序動作檢測方法，其特征在于，包括：

對視頻進行特征提取，以獲得視頻特征向量；

將所述視頻特征向量輸入至時序概率卷積神經網絡中，以獲得時序點概率分數；

去除所述時序點概率分數的冗余時序點，以獲得第一開始時序點和第一結束時序點；

根據所述第一開始時序點和第一結束時序點，生成初始時序動作提名；

根據初始時序動作提名，以獲得時序動作提名的評價分數；其中，所述根據初始時序動作，以獲得時序動作提名的評價分數，具體為：根據初始時序動作提名構造時序提名特征；將所述時序提名特征輸入至時序評估網絡，以獲得時序動作提名的評價分數；根據初始時序動作提名構造時序提名特征，具體為：根據所述初始時序動作提名，以查找出初始時序動作提名的與開始時間最近的結束時間和與結束時間最近的開始時間；根據與開始時間最近的結束時間和與結束時間最近的開始時間，在初始時序動作提名中分別查找對應的相關時序提名；計算與開始時間最近的結束時間在對應的相關時序提名中每個時序提名的時序第一交并比，以及計算與結束時間最近的開始時間在對應的相關時序提名中每個時序提名的時序第二交并比；根據第一交并比以及第二交并比，構造時序提名關聯特征；以及根據時序提名相關的背景語義信息構造時序提名場景特征；將所述時序提名關聯特征以及時序提名場景特征進行融合，以構建時序提名特征；

根據時序動作提名的評價分數對時序提名進行分類，以完成視頻的時序動作檢測；

通過two-stream和C3D聯合編碼對視頻進行特征提取；

通過softmax分類器對時序提名進行分類。

2.根據權利要求1所述的視頻的時序動作檢測方法，其特征在于，根據所述第一開始時序點和第一結束時序點，生成初始時序動作提名，具體為：

遍歷所述第一開始時序點和第一結束時序點，以獲得開始邊界點和結束邊界點；其中，所述開始邊界點以及結束邊界點均為極值點或者分數大于等于所述第一開始時序點和第一結束時序點中最大值的一半的點；

根據所述開始邊界點以及結束邊界點，以獲得第二開始點序列和第二結束點序列；

對所述第二開始點序列和第二結束點序列進行組合，以生成初始動作時序提名。

3.一種視頻的時序動作檢測裝置，其特征在于，包括：

特征提取單元，用于對視頻進行特征提取，以獲得視頻特征向量；

時序點概率分數獲取單元，用于將所述視頻特征向量輸入至時序概率卷積神經網絡中，以獲得時序點概率分數；

冗余時序點去除單元，用于去除所述時序點概率分數的冗余時序點，以獲得開始概率序列的時序點和結束概率序列的時序點；

初始時序動作提名生成單元，用于根據第一開始時序點和第一結束時序點，生成初始時序動作提名；

評價分數獲取單元，用于根據初始時序動作提名，以獲得時序動作提名的評價分數；其中，評價分數獲取單元，包括：時序提名特征構造模塊，用于根據初始時序動作提名構造時序提名特征；評價分數獲取模塊，用于將所述時序提名特征輸入至時序評估網絡，以獲得時序動作提名的評價分數；時序提名特征構造模塊具體用于：根據所述初始時序動作提名，以查找出初始時序動作提名的與開始時間最近的結束時間和與結束時間最近的開始時間；根據與開始時間最近的結束時間和與結束時間最近的開始時間，在初始時序動作提名中分別查找對應的相關時序提名；計算與開始時間最近的結束時間在對應的相關時序提名中每個時序提名的時序第一交并比，以及計算與結束時間最近的開始時間在對應的相關時序提名中每個時序提名的時序第二交并比；根據第一交并比以及第二交并比，構造時序提名關聯特征；以及根據時序提名相關的背景語義信息構造時序提名場景特征；將所述時序提名關聯特征以及時序提名場景特征進行融合，以構建時序提名特征；

時序提名分類單元，用于根據時序動作提名的評價分數對時序提名進行分類，以完成視頻的時序動作檢測；

分類單元，用于通過two-stream和C3D聯合編碼對視頻進行特征提取，通過softmax分類器對時序提名進行分類。