[發明專利]視頻新聞分類模型建立方法、分類方法、裝置及設備

有效

• 申請號: 202210024807.3
• 申請日: 2022-01-11
• 公開（公告）號: CN114064973B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 仉佃星;張智躍;趙剛
• 申請（專利權）人: 人民網科技（北京）有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06V20/40;G06K9/62;G06N3/04;G06V10/764;G06V10/82;G06V10/774
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 許曼;劉飛

1.一種視頻新聞分類模型建立方法，其特征在于，所述方法包括：

獲取待訓練視頻新聞數據集合，所述待訓練視頻新聞數據包括文本模態數據、圖像模態數據和視頻模態數據，所述文本模態數據包括所述待訓練視頻新聞中的標題文本，或所述待訓練視頻新聞中的音頻文本，所述圖像模態數據包括所述待訓練視頻新聞中的新聞圖片，或所述待訓練視頻新聞中指定位置的視頻幀圖像；

將所述文本模態數據或圖像模態數據輸入到預訓練標注模型中，生成所述待訓練視頻新聞數據的標注結果，所述標注結果作為初始分類模型的目標分類結果；

將所述待訓練視頻新聞數據輸入到初始分類模型中，生成所述待訓練視頻新聞數據的分類結果，所述分類結果作為所述預訓練標注模型的目標標注結果；

根據所述標注結果和所述分類結果，分別計算得到用于訓練所述預訓練標注模型的第一損失函數的計算值，以及用于訓練所述初始分類模型的第二損失函數的計算值；

根據所述第一損失函數的計算值和所述第二損失函數的計算值，計算獲得目標損失函數的計算值；

根據所述目標損失函數的計算值，調整所述預訓練標注模型的網絡參數、所述初始分類模型的網絡參數以及所述目標損失函數，并回到所述標注結果的生成步驟，直到所述預訓練標注模型和所述初始分類模型收斂，得到所述初始分類模型的收斂網絡參數；

根據所述初始分類模型的收斂網絡參數，確定視頻新聞分類模型。

2.根據權利要求1所述的方法，其特征在于，所述獲取待訓練視頻新聞數據集合之后包括：

利用BERT模型獲取所述文本模態數據的文本特征向量；

利用Xception模型獲取所述圖像模態數據的圖像特征向量；

利用3D卷積神經網絡獲取所述視頻模態數據的視覺特征向量。

3.根據權利要求2所述的方法，其特征在于，所述將所述文本模態數據或圖像模態數據輸入到預訓練標注模型中，生成所述待訓練視頻新聞數據的標注結果，包括：

將所述文本特征向量輸入到預訓練文本分類模型中，生成所述待訓練視頻新聞數據的標注結果；或，

將所述圖像特征向量輸入到預訓練圖像分類模型中，生成所述待訓練視頻新聞數據的標注結果。

4.根據權利要求2所述的方法，其特征在于，所述將所述待訓練視頻新聞數據輸入到初始分類模型中，生成所述待訓練視頻新聞數據的分類結果，包括：

將所述文本特征向量、圖像特征向量和所述視覺特征向量融合處理，得到視頻新聞特征向量；

將所述視頻新聞特征向量輸入到所述初始分類模型中，生成所述待訓練視頻新聞數據的分類結果。

5.根據權利要求4所述的方法，其特征在于，所述將所述文本特征向量、圖像特征向量和所述視覺特征向量融合處理，得到視頻新聞特征向量，包括：

將所述文本特征向量、圖像特征向量和所述視覺特征向量進行拼接處理，得到視頻多模態特征向量；

將所述視頻多模態特征向量輸入到NeXtVLAD模型中，得到初始視頻新聞特征向量；

將所述初始視頻新聞特征向量輸入到門控循環神經網絡中進行特征增強處理，得到所述視頻新聞特征向量。

6.根據權利要求1所述的方法，其特征在于，所述目標損失函數通過如下公式表示：

，

其中，L為目標損失函數的計算值，w_i為第i個損失函數的權重系數，L_i為第i個損失函數的計算值，n為損失函數的總數，。

7.根據權利要求1所述的方法，其特征在于，所述將所述文本模態數據或圖像模態數據輸入到預訓練標注模型中，生成所述待訓練視頻新聞數據的標注結果之前還包括：

初始化所述目標損失函數中的權重系數和初始化所述初始分類模型的參數。