[發(fā)明專利]視頻新聞分類模型建立方法、分類方法、裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 202210024807.3
• 申請日: 2022-01-11
• 公開（公告）號: CN114064973B
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計）人: 仉佃星;張智躍;趙剛
• 申請（專利權(quán)）人: 人民網(wǎng)科技（北京）有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06V20/40;G06K9/62;G06N3/04;G06V10/764;G06V10/82;G06V10/774
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 許曼;劉飛

本文提供了視頻新聞分類模型建立方法、分類方法、裝置及設(shè)備，所述分類模型建立方法包括獲取待訓(xùn)練視頻新聞數(shù)據(jù)集合；將文本模態(tài)數(shù)據(jù)或圖像模態(tài)數(shù)據(jù)輸入到預(yù)訓(xùn)練標(biāo)注模型中，得到標(biāo)注結(jié)果；將待訓(xùn)練視頻新聞數(shù)據(jù)輸入到初始分類模型中，得到分類結(jié)果；根據(jù)標(biāo)注結(jié)果和分類結(jié)果，分別計算得到第一損失函數(shù)的計算值及第二損失函數(shù)的計算值；根據(jù)第一損失函數(shù)的計算值和第二損失函數(shù)的計算值，計算獲得目標(biāo)損失函數(shù)的計算值；根據(jù)目標(biāo)損失函數(shù)的計算值，訓(xùn)練得到視頻新聞分類模型，并通過訓(xùn)練得到的分類模型進(jìn)行視頻新聞的分類，本文能提高視頻新聞分類的效率和準(zhǔn)確性。

技術(shù)領(lǐng)域

本文屬于計算機(jī)技術(shù)領(lǐng)域，具體涉及視頻新聞分類模型建立方法、分類方法、裝置及設(shè)備。

背景技術(shù)

多模態(tài)數(shù)據(jù)是指對同一個對象，采用描述的方式（視角或領(lǐng)域不同），把描述這些數(shù)據(jù)的每一個領(lǐng)域或者視角叫做一個模態(tài)。其中新聞數(shù)據(jù)也是一種多模態(tài)數(shù)據(jù)，新聞數(shù)據(jù)包括文本、圖像、視頻等不同模態(tài)信息；每個視頻可以分解為視覺、音頻、圖片、文字等多模態(tài)信息。

新聞分類屬于分類任務(wù)的一個特定應(yīng)用場景，因其分類體系與業(yè)務(wù)形態(tài)緊密關(guān)聯(lián)，業(yè)界沒有統(tǒng)一的分類標(biāo)準(zhǔn)，特別是針對視頻新聞的分類，視頻分類更多聚焦于視頻動作的識別和分類。一般采用機(jī)器學(xué)習(xí)算法進(jìn)行分類，具體為通過理解視頻新聞中包含的內(nèi)容，建模多模態(tài)特征表達(dá)和特征融合兩個子網(wǎng)絡(luò)，然后基于深度學(xué)習(xí)分類模型，確定視頻新聞對應(yīng)的主題。

在模型訓(xùn)練時需要對視頻新聞進(jìn)行大量的主題標(biāo)注，才能提高模型訓(xùn)練的準(zhǔn)確性，現(xiàn)有技術(shù)中，視頻新聞主題的標(biāo)注一般是通過手動標(biāo)注，手動標(biāo)注效率低準(zhǔn)確性差、效率低，因此導(dǎo)致訓(xùn)練的樣本量和可靠性降低，導(dǎo)致訓(xùn)練出的模型準(zhǔn)確性較差。因此如何提高視頻新聞分類的準(zhǔn)確性和效率成為目前亟需解決的技術(shù)問題。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的上述問題，本文的目的在于，提供一種視頻新聞分類模型建立方法、分類方法、裝置及設(shè)備，能夠提高視頻新聞分類的準(zhǔn)確性和效率。

為了解決上述技術(shù)問題，本文的具體技術(shù)方案如下：

一方面，本文提供一種視頻新聞分類模型建立方法，所述方法包括：

獲取待訓(xùn)練視頻新聞數(shù)據(jù)集合，所述待訓(xùn)練視頻新聞數(shù)據(jù)包括文本模態(tài)數(shù)據(jù)、圖像模態(tài)數(shù)據(jù)和視頻模態(tài)數(shù)據(jù)；

將所述文本模態(tài)數(shù)據(jù)或圖像模態(tài)數(shù)據(jù)輸入到預(yù)訓(xùn)練標(biāo)注模型中，生成所述待訓(xùn)練視頻新聞數(shù)據(jù)的標(biāo)注結(jié)果，所述標(biāo)注結(jié)果作為初始分類模型的目標(biāo)分類結(jié)果；

將所述待訓(xùn)練視頻新聞數(shù)據(jù)輸入到初始分類模型中，生成所述待訓(xùn)練視頻新聞數(shù)據(jù)的分類結(jié)果，所述分類結(jié)果作為所述預(yù)訓(xùn)練標(biāo)注模型的目標(biāo)標(biāo)注結(jié)果；

根據(jù)所述標(biāo)注結(jié)果和所述分類結(jié)果，分別計算得到用于訓(xùn)練所述預(yù)訓(xùn)練標(biāo)注模型的第一損失函數(shù)的計算值，以及用于訓(xùn)練所述初始分類模型的第二損失函數(shù)的計算值；

根據(jù)所述第一損失函數(shù)的計算值和所述第二損失函數(shù)的計算值，計算獲得目標(biāo)損失函數(shù)的計算值；

根據(jù)所述目標(biāo)損失函數(shù)的計算值，調(diào)整所述預(yù)訓(xùn)練標(biāo)注模型的網(wǎng)絡(luò)參數(shù)、所述初始分類模型的網(wǎng)絡(luò)參數(shù)以及所述目標(biāo)損失函數(shù)，并回到所述標(biāo)注結(jié)果的生成步驟，直到所述預(yù)訓(xùn)練標(biāo)注模型和所述初始分類模型收斂，得到所述初始分類模型的收斂網(wǎng)絡(luò)參數(shù)；

根據(jù)所述初始分類模型的收斂網(wǎng)絡(luò)參數(shù)，確定視頻新聞分類模型。

進(jìn)一步地，所述文本模態(tài)數(shù)據(jù)包括所述待訓(xùn)練視頻新聞中的標(biāo)題文本，或所述待訓(xùn)練視頻新聞中的音頻文本；

所述圖像模態(tài)數(shù)據(jù)包括所述待訓(xùn)練視頻新聞中的新聞圖片，或所述待訓(xùn)練視頻新聞中指定位置的視頻幀圖像。

進(jìn)一步地，所述獲取待訓(xùn)練視頻新聞數(shù)據(jù)集合之后包括：

利用BERT模型獲取所述文本模態(tài)數(shù)據(jù)的文本特征向量；