[發明專利]生成信息的方法和裝置

有效

• 申請號: 201810877553.3
• 申請日: 2018-08-03
• 公開（公告）號: CN109117777B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 李甫;何棟梁;文石磊;孫昊
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了生成信息的方法和裝置。該生成信息的方法的一具體實施方式包括：獲取待識別視頻；提取待識別視頻的圖像特征序列和語音特征序列；基于圖像特征序列和語音特征序列，確定待識別視頻對應各個標簽的概率值；將概率值大于閾值的標簽確定為待識別視頻的標簽。該實施方式中的圖像特征序列和語音特征序列利用了視頻的時序結構，可將視頻作為一個完整的事件進行考慮，也同時考慮了圖像和語音的雙流特征，使得為視頻確定的標簽更加精準和豐富。

技術領域

本申請涉及計算機技術領域，具體涉及計算機網絡技術領域，尤其涉及生成信息的方法和裝置。

背景技術

視頻大規模自動標簽技術，即通過分析、理解視頻的內容、語義，自動輸出該視頻相關的實體標簽，描述視頻內容，用于視頻的推薦。近年來短視頻內容與日俱增，人工審核速度已遠遠跟不上視頻增長的速度，導致大量視頻不能在線上展示，浪費資源。因此亟需一種視頻自動打標簽的技術，來輔助編輯自動對視頻內容分析打標簽，提高人工審核效率。

視頻標簽技術是對視頻中出現的物體，明星，行為等作識別，輸出一些具體的實體名詞，例如名牌車輛，明星姓名，親吻等。這些實體名詞與視頻分類的類別相比，粒度較小，能更細致的描述視頻的內容，從多維度，多方面刻畫視頻的語義，從而達到更有效的推薦效果。因此，我們需要構建一個龐大的體系結構來覆蓋盡可能多的實體名詞。

目前，對視頻打標簽一般采用的方案為：首先從視頻中抽取圖像幀，然后利用圖像分類或檢測的技術來識別圖中物體，達到對視頻打標簽的目的。主要有以下幾種方案：(1)圖像分類、檢測。利用當前最佳的圖像識別CNN模型來對單幀圖像進行分類或檢測其中的物體。(2)視頻標題、圖像OCR。若視頻有對應的標題或周邊描述文本信息，也可以作為視頻描述的手段的補充。此外，也可以利用基于圖像的OCR技術，來識別單幀圖像中出現的文字，再利用NLP的技術提取出關鍵詞匯。(3)語音ASR。將視頻中的語音片段單獨提取出來，使用ASR的技術將語音翻譯成文本，識別出關鍵實體詞匯。

發明內容

本申請實施例提供了生成信息的方法和裝置。

第一方面，本申請實施例提供了一種生成信息的方法，包括：一種生成信息的方法，包括：獲取待識別視頻；提取待識別視頻的圖像特征序列和語音特征序列；基于圖像特征序列和語音特征序列，確定待識別視頻對應各個標簽的概率值；將概率值大于閾值的標簽確定為待識別視頻的標簽。

在一些實施例中，提取待識別視頻的圖像特征序列包括：均勻抽取待識別視頻的視頻幀，得到待識別視頻幀序列；采用圖像分類網絡對待識別視頻幀序列進行特征提取，得到待識別視頻的圖像特征序列。

在一些實施例中，提取待識別視頻的語音特征序列包括：抽取待識別視頻的音頻信號；將待識別視頻的音頻信號輸入語音分類的卷積神經網絡，對每秒的語音進行特征提取，得到待識別視頻的語音特征序列。

在一些實施例中，基于圖像特征序列和語音特征序列，確定待識別視頻對應各個標簽的概率值包括：將圖像特征序列和語音特征序列輸入預先訓練的雙流長短期記憶網絡，得到待識別視頻對應各個標簽的概率值。

在一些實施例中，預先訓練的雙流長短期記憶網絡經由以下步驟確定：獲取附有視頻標簽的視頻樣本；均勻抽取視頻樣本的視頻幀；采用圖像分類網絡對所抽取的視頻幀進行特征提取，得到視頻樣本的圖像特征序列；抽取視頻樣本中的音頻信號；將視頻樣本中的音頻信號輸入語音分類的卷積神經網絡，對每秒的語音進行特征提取，得到視頻樣本的語音特征序列；將視頻樣本的圖像特征序列、視頻樣本的語音特征序列作為輸入，將視頻樣本的視頻標簽作為輸出，訓練雙流長短期記憶網絡。

在一些實施例中，圖像分類網絡基于采用時序分段網絡所建模的視頻樣本的視頻幀的特征和視頻樣本對應的標簽訓練得到。

在一些實施例中，語音分類的卷積神經網絡基于以下步驟確定：提取視頻樣本的音頻信號中的梅爾標度濾波器組特征；基于梅爾標度濾波器組特征和視頻樣本的音頻信號對應的標簽，訓練語音分類的卷積神經網絡。