[發(fā)明專利]能夠區(qū)分關(guān)鍵動(dòng)作的視頻分析方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711243388.8
• 申請(qǐng)日: 2017-11-30
• 公開（公告）號(hào): CN107944409B
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 季向陽(yáng);楊武魁;陳孝罡
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種視頻分析方法及裝置，所述方法包括：將待識(shí)別視頻輸入單幀識(shí)別模型，得到所述待識(shí)別視頻中單幀圖像的單幀特征；根據(jù)幀長(zhǎng)度、起始幀和識(shí)別步長(zhǎng)，將所述待識(shí)別視頻劃分為各視頻塊；根據(jù)各視頻塊包括的單幀圖像的單幀特征和幀長(zhǎng)度，確定各視頻塊的特征流矩陣；將初始注意力矩陣和視頻塊的特征流矩陣，輸入長(zhǎng)短期記憶模型進(jìn)行處理，得到視頻塊的注意力矩陣；根據(jù)視頻塊的注意力矩陣，確定所述待識(shí)別視頻的注意力向量。本公開選擇性地關(guān)注視頻空間上比較重要的區(qū)域，以及時(shí)間上相對(duì)重要的幀，進(jìn)而減少了不相關(guān)信息對(duì)視頻分析結(jié)果的影響。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)視覺領(lǐng)域，尤其涉及一種視頻分析方法及裝置。

背景技術(shù)

視頻分析是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要方向，近幾年，神經(jīng)網(wǎng)絡(luò)在圖像分析領(lǐng)域取得了重大突破，然而相對(duì)圖像而言，視頻增加了時(shí)間維度信息，因此讓機(jī)器理解不同視頻幀在時(shí)間維度上的聯(lián)系變得尤為重要。在傳統(tǒng)的方法中，通常利用光流等手工特征來描述視頻的時(shí)間信息，往往只考慮不同的單幀圖像的分析結(jié)果，無法準(zhǔn)確區(qū)分視頻中整體動(dòng)作中的某部分關(guān)鍵動(dòng)作，導(dǎo)致視頻的識(shí)別結(jié)果不準(zhǔn)確。

發(fā)明內(nèi)容

有鑒于此，本公開提出了一種視頻分析方法及裝置，用以解決傳統(tǒng)的視頻分析方法中，不能準(zhǔn)確區(qū)分視頻中整體工作中的關(guān)鍵動(dòng)作，導(dǎo)致視頻的識(shí)別結(jié)果不準(zhǔn)確的問題。

根據(jù)本公開的一方面，提供了一種視頻分析方法，所述方法包括：

將待識(shí)別視頻輸入單幀識(shí)別模型，得到所述待識(shí)別視頻中單幀圖像的單幀特征；

根據(jù)幀長(zhǎng)度、起始幀和識(shí)別步長(zhǎng)，將所述待識(shí)別視頻劃分為各視頻塊；

根據(jù)各視頻塊包括的單幀圖像的單幀特征和幀長(zhǎng)度，確定各視頻塊的特征流矩陣；

將初始注意力矩陣和視頻塊的特征流矩陣，輸入長(zhǎng)短期記憶模型進(jìn)行處理，得到視頻塊的注意力矩陣；

根據(jù)視頻塊的注意力矩陣，確定所述待識(shí)別視頻的注意力向量。

在一種可能的實(shí)現(xiàn)方式中，將初始注意力矩陣和視頻塊的特征流矩陣，輸入長(zhǎng)短期記憶模型進(jìn)行處理，得到視頻塊的注意力矩陣，包括：

根據(jù)單幀特征的特征寬、單幀特征的特征高以及所述幀長(zhǎng)度，確定所述視頻塊的初始注意力矩陣；

將所述初始注意力矩陣和第一個(gè)視頻塊的特征流矩陣，輸入長(zhǎng)短期記憶模型進(jìn)行處理，得到第一個(gè)視頻塊的注意力矩陣；

將第二個(gè)視頻塊及其后續(xù)的視頻塊作為當(dāng)前視頻塊，依次將上一個(gè)視頻塊的注意力矩陣和當(dāng)前視頻塊的特征流矩陣，輸入長(zhǎng)短期記憶模型進(jìn)行處理，得到當(dāng)前視頻塊的注意力矩陣。

在一種可能的實(shí)現(xiàn)方式中，將上一個(gè)視頻塊的注意力矩陣和當(dāng)前視頻塊的特征流矩陣，輸入長(zhǎng)短期記憶模型進(jìn)行處理，得到當(dāng)前視頻塊的注意力矩陣，包括：

將上一個(gè)視頻塊的注意力矩陣和當(dāng)前視頻塊的特征流矩陣加權(quán)求和，得到整合特征矩陣；

將所述整合特征矩陣輸入長(zhǎng)短期記憶模型進(jìn)行處理，得到當(dāng)前視頻塊的注意力矩陣。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)視頻塊的注意力矩陣，確定所述待識(shí)別視頻的注意力向量，包括：

將單幀圖像所在的視頻塊的注意力矩陣取平均值，得到單幀圖像的單幀向量；

根據(jù)所有單幀圖像的單幀向量，得到所述待識(shí)別視頻的注意力向量。

在一種可能的實(shí)現(xiàn)方式中，

將初始注意力矩陣和視頻塊的特征流矩陣，輸入長(zhǎng)短期記憶模型進(jìn)行處理，得到視頻塊的注意力矩陣，還包括：

得到當(dāng)前視頻塊的類別概率；