[發(fā)明專利]一種基于多模態(tài)特征完備表示的短視頻分類方法

在審

• 申請?zhí)枺?/td>: 202110282974.3
• 申請日: 2021-03-16
• 公開（公告）號: CN113158798A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 井佩光;張麗娟;蘇育挺
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06F16/71;G06F16/75;G06F16/78;G06F16/783
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

本發(fā)明公開了一種基于多模態(tài)特征完備表示的短視頻分類方法，所述方法包括：對于短視頻自身內(nèi)容信息，提出以視覺模態(tài)特征為主，從模態(tài)缺失角度構(gòu)建四個子空間并分別獲得潛在的特征表示，對四個子空間的潛在特征表示進(jìn)一步利用自動編解碼網(wǎng)絡(luò)進(jìn)行融合以保證學(xué)習(xí)到更魯棒且有效的公共潛在表示；對于標(biāo)簽信息，采用逆協(xié)方差估計(jì)和圖注意網(wǎng)絡(luò)探究標(biāo)簽間的相關(guān)性并更新標(biāo)簽表示，得到與短視頻對應(yīng)的標(biāo)簽向量表示；對公共潛在表示和標(biāo)簽向量表示提出基于多頭注意的多頭跨模態(tài)融合方案，用于獲得短視頻的標(biāo)簽預(yù)測分?jǐn)?shù)；模型的整體損失函數(shù)由傳統(tǒng)的多標(biāo)簽分類損失和自動編解碼網(wǎng)絡(luò)的重建損失組成，用來度量網(wǎng)絡(luò)輸出值與實(shí)際值之間的差距，并以此來指導(dǎo)網(wǎng)絡(luò)找尋模型最優(yōu)解。

技術(shù)領(lǐng)域

本發(fā)明涉及短視頻分類領(lǐng)域，尤其涉及一種基于多模態(tài)特征完備表示的短視頻分類方法。

背景技術(shù)

近年來，隨著智能終端的普及以及社交網(wǎng)絡(luò)的火熱，越來越多的信息采用多媒體內(nèi)容呈現(xiàn)，高清攝像頭、大容量存儲和高速網(wǎng)絡(luò)連接為用戶創(chuàng)造了極其便利的拍攝和分享?xiàng)l件，從而創(chuàng)造了海量的多媒體數(shù)據(jù)。

短視頻作為一種新型的用戶生成內(nèi)容，憑借其創(chuàng)作門檻低、碎片化內(nèi)容以及較強(qiáng)的社交屬性等獨(dú)特優(yōu)勢在社交網(wǎng)絡(luò)中受到了極大的歡迎。尤其是2011年以來，伴隨著移動互聯(lián)網(wǎng)終端的普及和網(wǎng)絡(luò)的提速以及流量資費(fèi)的降低，短視頻迅速獲得了包括各大內(nèi)容平臺、粉絲以及資本等多方的支持與青睞。有數(shù)據(jù)顯示，全球移動視頻流量已經(jīng)占據(jù)移動數(shù)據(jù)總流量的一半以上，且持續(xù)高速增長。規(guī)模龐大的短視頻數(shù)據(jù)很容易湮沒用戶需要的信息，使得用戶難以找到其所期望的短視頻信息內(nèi)容，所以如何有效處理和利用這些信息變得至關(guān)重要。

以深度學(xué)習(xí)為代表的人工智能技術(shù)已經(jīng)成為當(dāng)今最流行的技術(shù)之一，被廣泛運(yùn)用到計(jì)算機(jī)視覺等眾多領(lǐng)域中。

因此，將其引入到短視頻的分類任務(wù)中不僅有利于推動計(jì)算機(jī)視覺以及多媒體領(lǐng)域相關(guān)課題的創(chuàng)新，對于用戶體驗(yàn)的提升以及工業(yè)界的發(fā)展也具有很重要的應(yīng)用價值和現(xiàn)實(shí)意義。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于多模態(tài)特征完備表示的短視頻分類方法，解決了短視頻多標(biāo)簽分類問題并對結(jié)果進(jìn)行評估，詳見下文描述：

一種基于多模態(tài)特征完備表示的短視頻分類方法，所述方法包括：

對于短視頻自身內(nèi)容信息，提出以視覺模態(tài)特征為主，從模態(tài)缺失角度構(gòu)建四個子空間并分別獲得潛在的特征表示，對四個子空間的潛在特征表示進(jìn)一步利用自動編解碼網(wǎng)絡(luò)進(jìn)行融合以保證學(xué)習(xí)到更魯棒且有效的公共潛在表示；

對于標(biāo)簽信息，采用逆協(xié)方差估計(jì)和圖注意網(wǎng)絡(luò)探究標(biāo)簽間的相關(guān)性并更新標(biāo)簽表示，得到與短視頻對應(yīng)的標(biāo)簽向量表示；

對公共潛在表示和標(biāo)簽向量表示提出基于多頭注意的多頭跨模態(tài)融合方案，用于獲得短視頻的標(biāo)簽預(yù)測分?jǐn)?shù)；

模型的整體損失函數(shù)由傳統(tǒng)的多標(biāo)簽分類損失和自動編解碼網(wǎng)絡(luò)的重建損失組成，用來度量網(wǎng)絡(luò)輸出值與實(shí)際值之間的差距，并以此來指導(dǎo)網(wǎng)絡(luò)找尋模型最優(yōu)解。

其中，所述兩類視覺模態(tài)特征潛在表示為：獨(dú)特的視覺模態(tài)潛在表示和不同模態(tài)信息互補(bǔ)下的視覺模態(tài)潛在表示。

進(jìn)一步地，所述采用逆協(xié)方差估計(jì)和圖注意網(wǎng)絡(luò)探究標(biāo)簽間的相關(guān)性并更新標(biāo)簽表示，得到與短視頻對應(yīng)的標(biāo)簽向量表示具體為：

引入逆協(xié)方差估計(jì)，對于給定的標(biāo)簽矩陣V，尋找逆協(xié)方差矩陣S^-1來表征標(biāo)簽的成對關(guān)系，即定義圖關(guān)系函數(shù)來初始化圖結(jié)構(gòu)S；

將輸入到該網(wǎng)絡(luò)中的標(biāo)簽矩陣V轉(zhuǎn)換成新的標(biāo)簽矩陣，并輸入到圖關(guān)系函數(shù)G(·)中，計(jì)算出新的標(biāo)簽矩陣下的圖結(jié)構(gòu)S′。

其中，所述基于多頭注意的多頭跨模態(tài)融合方案為：利用短視頻視覺特征公共潛在表示查詢標(biāo)簽，計(jì)算相關(guān)性，對齊短視頻視覺模態(tài)公共潛在表示和標(biāo)簽矩陣。

本發(fā)明提供的技術(shù)方案的有益效果是：