[發(fā)明專利]視頻分類方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210578522.4
• 申請(qǐng)日: 2022-05-25
• 公開（公告）號(hào): CN114896449A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計(jì)）人: 朱彥浩;胡郡郡;唐大閏
• 申請(qǐng)（專利權(quán)）人: 北京明略昭輝科技有限公司
• 主分類號(hào): G06F16/65
• 分類號(hào): G06F16/65;G06V10/764;G06V10/80;G06V10/40;G06V10/82;G06N3/04;G06N3/08;G10L25/57;G10L25/27
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 石鳴宇

本申請(qǐng)涉及一種視頻分類方法、裝置、設(shè)備及介質(zhì)，該方法包括：構(gòu)建多層特征融合網(wǎng)絡(luò)；提取目標(biāo)視頻中的圖像特征集和音頻特征集；利用瓶頸單元向量交替在多層特征融合網(wǎng)絡(luò)中進(jìn)行圖像特征和音頻特征的聯(lián)合學(xué)習(xí)，得到最后一層特征融合網(wǎng)絡(luò)的圖像特征融合單元輸出的目標(biāo)整體圖像特征和最后一層特征融合網(wǎng)絡(luò)的音頻特征融合單元輸出的目標(biāo)整體音頻特征；將目標(biāo)整體圖像特征和目標(biāo)整體音頻特征輸入分類器，以確定目標(biāo)視頻的類別。本申請(qǐng)通過設(shè)置瓶頸單元向量在視頻的圖像特征和音頻特征的融合過程中獲得用于分類的重要特征信息，進(jìn)行數(shù)據(jù)交互，解決了特征融合過程速度較慢且容易過擬合的問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種視頻分類方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

視頻分類是目前計(jì)算機(jī)視覺領(lǐng)域研究的重點(diǎn)問題，對(duì)視頻進(jìn)行準(zhǔn)確的分類可以增強(qiáng)用戶體驗(yàn)，給予用戶更好的推薦。對(duì)于公司而言，對(duì)大量的互聯(lián)網(wǎng)視頻進(jìn)行相應(yīng)的分類也有助于公司把握當(dāng)下市場(chǎng)的熱點(diǎn)內(nèi)容，進(jìn)行相應(yīng)的戰(zhàn)略部署。目前視頻分類普遍采用的融合方法是將視頻的各個(gè)圖像特征和各個(gè)音頻特征同時(shí)進(jìn)行融合，然后進(jìn)行視頻分類，這樣將視頻的多個(gè)圖像特征和多個(gè)音頻特征同時(shí)融合，速度較慢且容易過擬合。

針對(duì)上述“將視頻的多個(gè)圖像特征和多個(gè)音頻特征同時(shí)融合的話，速度較慢且容易過擬合”的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N視頻分類方法、裝置、設(shè)備及介質(zhì)，以解決或至少部分解決上述“將視頻的多個(gè)圖像特征和多個(gè)音頻特征同時(shí)融合，速度較慢且容易過擬合”的技術(shù)問題。

根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，本申請(qǐng)?zhí)峁┝艘环N視頻分類方法，包括：構(gòu)建多層特征融合網(wǎng)絡(luò)，其中，每一層特征融合網(wǎng)絡(luò)包括一個(gè)圖像特征融合單元和一個(gè)音頻特征融合單元；提取目標(biāo)視頻中的圖像特征集和音頻特征集，其中，圖像特征集用于作為第一層特征融合網(wǎng)絡(luò)中的圖像特征融合單元的輸入，音頻特征集用于作為第一層特征融合網(wǎng)絡(luò)中的音頻特征融合單元的輸入；利用瓶頸單元向量交替在多層特征融合網(wǎng)絡(luò)中進(jìn)行圖像特征和音頻特征的聯(lián)合學(xué)習(xí)，得到最后一層特征融合網(wǎng)絡(luò)的圖像特征融合單元輸出的目標(biāo)整體圖像特征和最后一層特征融合網(wǎng)絡(luò)的音頻特征融合單元輸出的目標(biāo)整體音頻特征；將目標(biāo)整體圖像特征和目標(biāo)整體音頻特征輸入分類器，以確定目標(biāo)視頻的類別。

可選地，利用瓶頸單元向量交替在多層特征融合網(wǎng)絡(luò)中進(jìn)行圖像特征和音頻特征的聯(lián)合學(xué)習(xí)包括按照如下方式對(duì)第一層的特征融合網(wǎng)絡(luò)進(jìn)行圖像特征和音頻特征的聯(lián)合學(xué)習(xí)：隨機(jī)生成瓶頸單元向量和圖像特征表征向量；將圖像特征表征向量、圖像特征集以及瓶頸單元向量進(jìn)行拼接后輸入第一層特征融合網(wǎng)絡(luò)的圖像特征融合單元；獲取第一層特征融合網(wǎng)絡(luò)的圖像特征融合單元輸出的新的瓶頸單元向量，并隨機(jī)生成音頻特征表征向量；將音頻特征表征向量、音頻特征集以及瓶頸單元向量進(jìn)行拼接后輸入第一層特征融合網(wǎng)絡(luò)的音頻特征融合單元，以利用瓶頸單元向量完成第一層特征融合網(wǎng)絡(luò)的圖像特征和音頻特征的聯(lián)合學(xué)習(xí)。

可選地，利用瓶頸單元向量交替在多層特征融合網(wǎng)絡(luò)中進(jìn)行圖像特征和音頻特征的聯(lián)合學(xué)習(xí)還包括：獲取上一層特征融合網(wǎng)絡(luò)的圖像特征融合單元輸出的新的圖像特征表征向量、新的圖像特征集以及音頻特征融合單元輸出的新的瓶頸單元向量；將圖像特征表征向量、圖像特征集以及音頻特征融合單元進(jìn)行拼接后輸入當(dāng)前層特征融合網(wǎng)絡(luò)的圖像特征融合單元；獲取當(dāng)前層圖像特征融合單元輸出的新的瓶頸單元向量、上一層音頻特征融合單元輸出的新的音頻特征集以及新的音頻特征表征向量；將音頻特征表征向量、音頻特征集以及瓶頸單元向量進(jìn)行拼接后輸入當(dāng)前層音頻特征融合單元，以完成當(dāng)前層特征融合網(wǎng)絡(luò)的圖像特征和音頻特征的聯(lián)合學(xué)習(xí)。