[發(fā)明專利]一種基于時(shí)空注意力的視頻分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710379817.8
• 申請(qǐng)日: 2017-05-25
• 公開(kāi)（公告）號(hào): CN107330362B
• 公開(kāi)（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 彭宇新;張俊超
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邱曉鋒

本發(fā)明涉及一種基于時(shí)空注意力的視頻分類方法，包括以下步驟：對(duì)訓(xùn)練視頻和待預(yù)測(cè)視頻提取幀和光流，將若干光流堆疊為多通道的圖像；搭建時(shí)空注意力模型，包括空域注意力網(wǎng)絡(luò)、時(shí)域注意力網(wǎng)絡(luò)和連接網(wǎng)絡(luò)；聯(lián)合訓(xùn)練時(shí)空注意力模型中的三個(gè)組成部分，使空域、時(shí)域注意力的效果同時(shí)提升，得到能夠準(zhǔn)確建模空域、時(shí)域顯著性并適用于視頻分類的時(shí)空注意力模型；利用學(xué)習(xí)得到的時(shí)空注意力模型對(duì)待預(yù)測(cè)視頻的幀和光流提取空域、時(shí)域顯著性并進(jìn)行預(yù)測(cè)，融合幀和光流的預(yù)測(cè)得分得到待預(yù)測(cè)視頻的最終語(yǔ)義類別。本發(fā)明能夠同時(shí)建模空域、時(shí)域注意力，并通過(guò)聯(lián)合訓(xùn)練充分利用二者的協(xié)作性能，學(xué)習(xí)得到更準(zhǔn)確的空域、時(shí)域顯著性，從而提高了視頻分類的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻分類技術(shù)領(lǐng)域，具體涉及一種基于時(shí)空注意力的視頻分類方法。

背景技術(shù)

隨著社交媒體、自媒體的廣泛普及和迅速發(fā)展，互聯(lián)網(wǎng)上的視頻數(shù)量呈現(xiàn)急劇增長(zhǎng)的態(tài)勢(shì)。調(diào)查研究表明，2016年每分鐘上傳到Y(jié)ouTube網(wǎng)站的視頻時(shí)長(zhǎng)超過(guò)300小時(shí)。美國(guó)CISCO公司2016年的視頻流量統(tǒng)計(jì)和預(yù)測(cè)報(bào)告進(jìn)一步指出，2020年全球視頻流量將占據(jù)互聯(lián)網(wǎng)流量的82％，屆時(shí)一個(gè)用戶需要花費(fèi)五百萬(wàn)年的時(shí)間才能看完互聯(lián)網(wǎng)上一個(gè)月內(nèi)所傳輸?shù)囊曨l。視頻等媒體數(shù)據(jù)已經(jīng)成為大數(shù)據(jù)的主體，如何對(duì)視頻內(nèi)容進(jìn)行準(zhǔn)確分析和識(shí)別，對(duì)于滿足用戶的信息獲取需求意義重大。

視頻分類是對(duì)視頻內(nèi)容進(jìn)行分析理解以識(shí)別其語(yǔ)義類別的技術(shù)，在互聯(lián)網(wǎng)視頻監(jiān)測(cè)、人機(jī)交互等方面具有廣闊的應(yīng)用前景，長(zhǎng)期以來(lái)受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。傳統(tǒng)視頻分類方法一般采用手工特征表示視頻內(nèi)容，比如首先利用尺度不變特征變換(scale-invariant feature transform，SIFT)描述子、光流直方圖(histogram of orientedoptical flow，HOF)表示視頻的靜態(tài)信息和運(yùn)動(dòng)信息，再使用詞袋(bag of words，BoW)模型進(jìn)行特征編碼，最終用支持向量機(jī)(support vector machine，SVM)等分類器預(yù)測(cè)視頻類別。為了優(yōu)化特征表示，一些方法采用費(fèi)雪向量(Fisher vector)和局部特征聚合描述符(vector of locally aggregated descriptors，VLAD)等更高效的特征編碼方式。此類方法的典型代表是Wang等人2013年發(fā)表于ICCV會(huì)議的文獻(xiàn)“Action Recognition withImproved Trajectories”中提出的IDT(improved dense trajectories)算法，該算法在多個(gè)空間尺度上對(duì)視頻幀密集采樣特征點(diǎn)，然后跟蹤特征點(diǎn)并提取軌跡、HOF等四種特征，同時(shí)通過(guò)估計(jì)相機(jī)運(yùn)動(dòng)消除背景上的干擾軌跡和光流，之后采用費(fèi)雪向量對(duì)四種特征進(jìn)行特征編碼得到高效的IDT特征。IDT算法在傳統(tǒng)視頻分類方法中取得了較好的效果，并具有很好的魯棒性。然而手工特征難以充分表達(dá)視頻內(nèi)容的高層語(yǔ)義信息，在大規(guī)模視頻數(shù)據(jù)和大量語(yǔ)義類別條件下的視頻分類中表現(xiàn)出一定的局限性。