[發(fā)明專利]視頻分類方法及裝置、計算機可讀存儲介質(zhì)與電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202011341447.7
• 申請日: 2020-11-25
• 公開（公告）號: CN112364810A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 羅喬雨
• 申請（專利權(quán)）人: 深圳市歡太科技有限公司;OPPO廣東移動通信有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市隆天聯(lián)鼎知識產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

1.一種視頻分類方法，其特征在于，包括：

獲取待分類視頻，從所述待分類視頻中提取多種模態(tài)信息，所述模態(tài)信息包括至少一個第一模態(tài)信息；

提取各所述第一模態(tài)信息的特征信息，以及所述模態(tài)信息中除各所述第一模態(tài)信息之外的第二模態(tài)信息的特征信息，并修正各所述第一模態(tài)信息的所述特征信息；

將各所述第一模態(tài)信息修正后的所述特征信息及所述第二模態(tài)信息的特征信息進行特征融合，并輸入至預(yù)先訓(xùn)練的視頻分類網(wǎng)絡(luò)，得到所述待分類視頻的分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的視頻分類方法，其特征在于，所述從所述待分類視頻中提取中多種模態(tài)信息，包括：

從所述待分類視頻中提取圖像信息以及音頻信息，并從所述圖像信息中提取文本信息，所述文本信息包括視頻標(biāo)題及字幕。

3.根據(jù)權(quán)利要求2所述的視頻分類方法，其特征在于，所述第一模態(tài)信息包括文本信息，所述第二模態(tài)信息包括圖像信息及音頻信息；

所述提取各所述第一模態(tài)信息的特征信息，以及所述模態(tài)信息中除各所述第一模態(tài)信息之外的第二模態(tài)信息的特征信息，并修正各所述第一模態(tài)信息的所述特征信息，包括：

將所述文本信息、所述圖像信息以及所述音頻信息分別輸入對應(yīng)的特征提取網(wǎng)絡(luò)，得到圖像特征向量、音頻特征向量以及文本特征向量；

獲取所述文本信息的修正因子，并通過所述修正因子修正所述文本特征向量。

4.根據(jù)權(quán)利要求3所述的視頻分類方法，其特征在于，所述獲取所述文本信息的修正因子，并通過所述修正因子修正所述文本特征向量，包括：

獲取所述視頻標(biāo)題及所述字幕的文本長度；

將所述視頻標(biāo)題的文本長度及所述字幕的文本長度輸入長度特征提取網(wǎng)絡(luò)，并對輸出進行歸一化處理，得到所述修正因子，并通過所述修正因子修正所述文本特征向量。

5.根據(jù)權(quán)利要求3所述的視頻分類方法，其特征在于，所述將各所述第一模態(tài)信息修正后的所述特征信息及所述第二模態(tài)信息的特征信息進行特征融合，并輸入至預(yù)先訓(xùn)練的視頻分類網(wǎng)絡(luò)，得到所述待分類視頻的分類結(jié)果，包括：

拼接所述圖像特征向量、所述音頻特征向量以及所述修正后的文本特征向量，得到特征融合后的多模態(tài)向量；

將所述多模態(tài)向量作為所述視頻分類網(wǎng)絡(luò)的輸入，輸出所述分類結(jié)果。

6.根據(jù)權(quán)利要求1所述的視頻分類方法，其特征在于，所述方法還包括：

獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)為包含分類標(biāo)簽的視頻數(shù)據(jù)；

從所述視頻數(shù)據(jù)中提取多種模態(tài)信息，對各所述模態(tài)信息進行特征提取，得到對應(yīng)的特征信息，并對所述模態(tài)信息中的至少一個第一模態(tài)信息的特征信息進行修正；

將所述修正后的各所述第一模態(tài)信息的所述特征信息，以及所述模態(tài)信息中剩余的第二模態(tài)信息的特征信息進行特征融合；

將融合后的特征信息作為輸出，所述分類標(biāo)簽作為輸出訓(xùn)練得到所述視頻分類模型。

7.一種視頻分類裝置，其特征在于，包括：

模態(tài)信息提取模塊，用于獲取待分類視頻，從所述待分類視頻中提取多種模態(tài)信息，所述模態(tài)信息包括至少一個第一模態(tài)信息；

特征提取及修正模塊，用于提取各所述第一模態(tài)信息的特征信息，以及所述模態(tài)信息中除各所述第一模態(tài)信息之外的第二模態(tài)信息的特征信息，并修正各所述第一模態(tài)信息的所述特征信息；

視頻分類模塊，用于將各所述第一模態(tài)信息修正后的所述特征信息及所述第二模態(tài)信息的特征信息進行特征融合，并輸入至預(yù)先訓(xùn)練的視頻分類網(wǎng)絡(luò)，得到所述待分類視頻的分類結(jié)果。