[發(fā)明專利]一種視頻分類方法和裝置

有效

• 申請?zhí)枺?/td>: 201910516934.3
• 申請日: 2019-06-14
• 公開（公告）號: CN110222234B
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計）人: 谷滿昌;張弛;陳相男
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06F16/78;G06F16/783;G06K9/00;G06K9/62
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本申請實施例公開了一種視頻分類方法和裝置，用于提高視頻幀分類效率。本申請實施例方法包括：獲取待分類視頻的標(biāo)題數(shù)據(jù)和封面圖；對該標(biāo)題數(shù)據(jù)進(jìn)行切分生成特征詞，并將該特征詞輸入寬度網(wǎng)絡(luò)模型得到第一分類結(jié)果；將該標(biāo)題數(shù)據(jù)轉(zhuǎn)換成深度網(wǎng)絡(luò)的輸入樣本；將該輸入樣本輸入該深度網(wǎng)絡(luò)得到第二分類結(jié)果；將該封面圖進(jìn)行特征提取得到特征數(shù)據(jù)；將該特征數(shù)據(jù)輸入該深度網(wǎng)絡(luò)得到第三分類結(jié)果；根據(jù)該第一分類結(jié)果、第二分類結(jié)果以及該第三分類結(jié)果確定目標(biāo)分類結(jié)果。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)領(lǐng)域，尤其涉及一種視頻分類方法和裝置。

背景技術(shù)

視頻分類是計算機(jī)視覺與自然語言處理領(lǐng)域中一項重要的研究課題，也是目前非常有挑戰(zhàn)性的熱點問題。隨著視頻數(shù)據(jù)的急速增長，視頻分類吸引了人們的大量關(guān)注。為了滿足不同用戶的需求，需要對視頻內(nèi)容進(jìn)行分類。

現(xiàn)有技術(shù)視頻分類主要是基于視覺信息，即需要對視頻的每一幀進(jìn)行特征提取，隨后基于傳統(tǒng)機(jī)器學(xué)習(xí)方法如：支持向量機(jī)，樸素貝葉斯等模型進(jìn)行視頻分類。具體來說在進(jìn)行視頻分類時，需要確定該視頻中的每個視頻幀的關(guān)鍵區(qū)域，隨后對該關(guān)鍵區(qū)域進(jìn)行分類預(yù)測，獲得所述待分類視頻的分類結(jié)果，隨后比較不同視頻幀的類別以確定最后分類結(jié)果。

這樣導(dǎo)致需要識別的視頻幀數(shù)量較多，分類效率低下。

發(fā)明內(nèi)容

本申請實施例提供了一種視頻分類方法和裝置，用于提高視頻幀分類效率。

第一方面，本申請實施例提供一種視頻分類方法，具體包括：視頻分類裝置獲取待分類視頻的標(biāo)題數(shù)據(jù)和封面圖；然后該視頻分類裝置根據(jù)對該標(biāo)題數(shù)據(jù)進(jìn)行切分生成特征詞，并將該特征詞輸入寬度網(wǎng)絡(luò)模型得到第一分類結(jié)果；然后該視頻分類裝置將所述標(biāo)題數(shù)據(jù)轉(zhuǎn)換成深度網(wǎng)絡(luò)的輸入樣本，并將所述輸入樣本輸入所述深度網(wǎng)絡(luò)得到第二分類結(jié)果；然后該視頻分類裝置對該封面圖進(jìn)行特征提取得到特征數(shù)據(jù)，并將所述特征數(shù)據(jù)輸入所述深度網(wǎng)絡(luò)得到第三分類結(jié)果；最后該視頻分類裝置根據(jù)所述第一分類結(jié)果、第二分類結(jié)果以及所述第三分類結(jié)果確定目標(biāo)分類結(jié)果。

本申請實施例中，該視頻分類裝置利用待分類視頻的標(biāo)題數(shù)據(jù)和封面圖提取特征，然后利用寬度和深度相結(jié)合的視頻分類模型，實現(xiàn)特征交叉互補，從而提高了視頻分類的準(zhǔn)確率，增強視頻分類的效率。

可選的，該視頻分類裝置在將該輸入樣本輸入深度網(wǎng)絡(luò)得到第二分類結(jié)果可以采用如下技術(shù)方案：該視頻分類裝置將該輸入樣本依次進(jìn)行特征提取和特征壓縮得到語義表示向量；然后通過注意力機(jī)制激活該語義表示向量中的預(yù)設(shè)部分從而得到文本表示向量；最后對該文本表示向量進(jìn)行softmax分類得到所述第二分類結(jié)果。

可選的，該視頻分類裝置在將該特征數(shù)據(jù)輸入該深度網(wǎng)絡(luò)得到第三分類結(jié)果可以采用如下技術(shù)方案：該視頻分類裝置將該特征數(shù)據(jù)依次通過至少兩個前饋神經(jīng)網(wǎng)絡(luò)后進(jìn)行softmax分類得到所述第三分類結(jié)果。

可選的，該視頻分類裝置在對該標(biāo)題數(shù)據(jù)進(jìn)行切分生成特征詞時具體可以采用如下技術(shù)方案：該視頻分類裝置去除該標(biāo)題數(shù)據(jù)中的非文本數(shù)據(jù)，得到文本數(shù)據(jù)；統(tǒng)一該文本數(shù)據(jù)的格式，并按照預(yù)設(shè)長度生成該待識別文本數(shù)據(jù)；對該待識別文本數(shù)據(jù)進(jìn)行切分生成n元模子特征，該n元模子特征作為該特征詞。

同理，可選的，該視頻分類裝置在將該標(biāo)題數(shù)據(jù)轉(zhuǎn)換為深度網(wǎng)絡(luò)的輸入樣本時具體可以采用如下技術(shù)方案：該視頻分類裝置去除該標(biāo)題數(shù)據(jù)中的非文本數(shù)據(jù)，得到文本數(shù)據(jù)；統(tǒng)一該文本數(shù)據(jù)的格式，并按照預(yù)設(shè)長度生成該待識別文本數(shù)據(jù)；將該待識別文本數(shù)據(jù)轉(zhuǎn)換成深度網(wǎng)絡(luò)的輸入樣本。

可選的，該視頻分類裝置將該待識別文本數(shù)據(jù)轉(zhuǎn)換成深度網(wǎng)絡(luò)的輸入樣本的具體操作可以如下：該視頻分類裝置對該待識別文本數(shù)據(jù)采用詞嵌入的方法轉(zhuǎn)換成該深度網(wǎng)絡(luò)的輸入樣本。

可以理解的是，該視頻分類裝置可以利用預(yù)訓(xùn)練的ResNet-50模型提取所述封面圖的圖像特征生成該特征數(shù)據(jù)。當(dāng)然實際應(yīng)用中，可以采用多種模型進(jìn)行圖像特征的提取。