[發明專利]視頻內容的完整度識別方法、裝置、設備及存儲介質

在審

• 申請號: 202011237365.8
• 申請日: 2020-11-09
• 公開（公告）號: CN112418011A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 劉剛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L25/03
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 徐立

1.一種視頻內容的完整度識別方法，其特征在于，所述方法包括：

獲取視頻文件和所述視頻文件的視頻發布信息，所述視頻發布信息表示在發布所述視頻文件對應的視頻內容時所提供的信息；

從所述視頻文件中分離出音頻數據；

從所述音頻數據中提取音頻特征，從所述視頻發布信息中提取文本特征；

將所述音頻特征和所述文本特征進行拼接，得到拼接后的特征；

對所述拼接后的特征進行識別，得到所述視頻文件對應的視頻內容的完整度。

2.根據權利要求1所述的方法，其特征在于，所述對所述拼接后的特征進行識別，得到所述視頻文件對應的視頻內容的完整度，包括：

調用視頻完整度識別模型對所述拼接后的特征進行識別，得到所述視頻文件對應的視頻內容屬于完整視頻內容的預測概率；

根據所述預測概率得到所述視頻文件對應的視頻內容的完整度。

3.根據權利要求2所述的方法，其特征在于，所述視頻完整度識別模型是通過如下方式獲得的：

獲取樣本視頻文件和所述樣本視頻文件的樣本視頻發布信息，所述樣本視頻文件對應的樣本視頻標注有視頻內容完整度，所述樣本視頻發布信息表示在發布所述樣本視頻文件對應的視頻內容時所提供的信息；

從所述樣本視頻對應的音頻數據中提取樣本音頻特征，從所述樣本視頻發布信息中提取樣本文本特征；

將所述樣本音頻特征和所述樣本文本特征進行拼接，得到拼接后的樣本特征；

對所述拼接后的樣本特征進行識別，得到所述樣本視頻文件對應的樣本視頻的內容預測完整度；

根據所述內容預測完整度和所述樣本視頻標注的視頻內容完整度對所述視頻完整度識別模型進行訓練，得到訓練后的視頻完整度識別模型。

4.根據權利要求3所述的方法，其特征在于，所述根據所述內容預測完整度和所述樣本視頻標注的視頻內容完整度對所述視頻完整度識別模型進行訓練，得到訓練后的視頻完整度識別模型，包括：

計算所述內容預測完整度和所述視頻內容完整度的誤差損失；

根據所述誤差損失對所述視頻完整度識別模型進行訓練，得到所述訓練后的視頻完整度識別模型。

5.根據權利要求4所述的方法，其特征在于，所述計算所述內容預測完整度和所述視頻內容完整度的誤差損失，包括：

獲取所述視頻完整度識別模型對應的激活函數；

根據所述激活函數、所述內容預測完整度和所述視頻內容完整度，得到用于二分類的交叉熵損失函數；

根據所述用于二分類的交叉熵損失函數計算所述內容預測完整度和所述視頻內容完整度的誤差損失。

6.根據權利要求4所述的方法，其特征在于，所述根據所述誤差損失對所述視頻完整度識別模型進行訓練，得到所述訓練后的視頻完整度識別模型，包括：

通過用于二分類的交叉熵損失函數計算所述誤差損失，所述用于二分類的交叉熵損失函數是通過所述視頻完整度識別模型對應的激活函數、所述內容預測完整度和所述視頻內容完整度得到的；

響應于所述誤差損失收斂，得到所述視頻完整度識別模型對應的權重矩陣和偏移向量，所述權重矩陣用于表征所述樣本視頻文件對所述視頻完整度識別模型輸出所述內容預測完整度的影響程度，所述偏移向量用于表征所述內容預測完整度與所述視頻完整度之間的偏差；

根據所述權重矩陣和所述偏移向量得到所述訓練后的視頻完整度識別模型。

7.根據權利要求1至6任一所述的方法，其特征在于，所述從所述音頻數據中提取音頻特征，從所述視頻發布信息中提取文本特征，包括：

調用音頻特征提取模型從所述音頻數據中提取所述音頻特征；

調用文本特征提取模型從所述視頻發布信息中提取所述文本特征。