[發(fā)明專利]能夠區(qū)分關鍵動作的視頻分析方法及裝置

有效

• 申請?zhí)枺?/td>: 201711243388.8
• 申請日: 2017-11-30
• 公開（公告）號: CN107944409B
• 公開（公告）日: 2020-05-08
• 發(fā)明（設計）人: 季向陽;楊武魁;陳孝罡
• 申請（專利權(quán)）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京林達劉知識產(chǎn)權(quán)代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種視頻分析方法，其特征在于，所述方法包括：

將待識別視頻輸入單幀識別模型，得到所述待識別視頻中單幀圖像的單幀特征；

根據(jù)幀長度、起始幀和識別步長，將所述待識別視頻劃分為各視頻塊；

根據(jù)各視頻塊包括的單幀圖像的單幀特征和幀長度，確定各視頻塊的特征流矩陣，所述特征流矩陣用于表示所述視頻塊的空間特征；

將初始注意力矩陣和視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到視頻塊的注意力矩陣，所述注意力矩陣用于表示所述視頻塊的時間特征；

根據(jù)視頻塊的注意力矩陣，確定所述待識別視頻的注意力向量，

其中，根據(jù)視頻塊的注意力矩陣，確定所述待識別視頻的注意力向量，包括：

將單幀圖像所在的視頻塊的注意力矩陣取平均值，得到單幀圖像的單幀向量；

根據(jù)所有單幀圖像的單幀向量，得到所述待識別視頻的注意力向量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將初始注意力矩陣和視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到視頻塊的注意力矩陣，包括：

根據(jù)單幀特征的特征寬、單幀特征的特征高以及所述幀長度，確定所述視頻塊的初始注意力矩陣；

將所述初始注意力矩陣和第一個視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到第一個視頻塊的注意力矩陣；

將第二個視頻塊及其后續(xù)的視頻塊作為當前視頻塊，依次將上一個視頻塊的注意力矩陣和當前視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到當前視頻塊的注意力矩陣。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，將上一個視頻塊的注意力矩陣和當前視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到當前視頻塊的注意力矩陣，包括：

將上一個視頻塊的注意力矩陣和當前視頻塊的特征流矩陣加權(quán)求和，得到整合特征矩陣；

將所述整合特征矩陣輸入長短期記憶模型進行處理，得到當前視頻塊的注意力矩陣。

4.根據(jù)權(quán)利要求1至3中任一項所述的方法，其特征在于，將初始注意力矩陣和視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到視頻塊的注意力矩陣，還包括：

得到當前視頻塊的類別概率；

將所述類別概率輸入分類器進行處理，得到當前視頻塊的視頻塊類別；

根據(jù)視頻塊的視頻塊類別，確定所述待識別視頻的視頻類別。

5.一種視頻分析裝置，其特征在于，包括：

單幀特征確定模塊，用于將待識別視頻輸入單幀識別模型，得到所述待識別視頻中單幀圖像的單幀特征；

視頻塊劃分模塊，用于根據(jù)幀長度、起始幀和識別步長，將所述待識別視頻劃分為各視頻塊；

特征流矩陣確定模塊，用于根據(jù)各視頻塊包括的單幀圖像的單幀特征和幀長度，確定各視頻塊的特征流矩陣，所述特征流矩陣用于表示所述視頻塊的空間特征；

注意力矩陣確定模塊，用于將初始注意力矩陣和視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到視頻塊的注意力矩陣，所述注意力矩陣用于表示所述視頻塊的時間特征；

注意力向量確定模塊，用于根據(jù)視頻塊的注意力矩陣，確定所述待識別視頻的注意力向量，

其中，所述注意力向量確定模塊，包括：

單幀向量確定子模塊，用于將單幀圖像所在的視頻塊的注意力矩陣取平均值，得到單幀圖像的單幀向量；

求和子模塊，用于根據(jù)所有單幀圖像的單幀向量，得到所述待識別視頻的注意力向量。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述注意力矩陣確定模塊，包括：

初始注意力矩陣確定子模塊，用于根據(jù)單幀特征的特征寬、單幀特征的特征高以及所述幀長度，確定所述視頻塊的初始注意力矩陣；

第一注意力矩陣確定子模塊，用于將所述初始注意力矩陣和第一個視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到第一個視頻塊的注意力矩陣；

后續(xù)注意力矩陣確定子模塊，用于將第二個視頻塊及其后續(xù)的視頻塊作為當前視頻塊，依次將上一個視頻塊的注意力矩陣和當前視頻塊的特征流矩陣，輸入長短期記憶模型進行處理，得到當前視頻塊的注意力矩陣。