[發明專利]生成信息的方法和裝置

有效

• 申請號: 201810877553.3
• 申請日: 2018-08-03
• 公開（公告）號: CN109117777B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 李甫;何棟梁;文石磊;孫昊
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種生成信息的方法，包括：

獲取待識別視頻；

提取所述待識別視頻的圖像特征序列和語音特征序列；

基于所述圖像特征序列和所述語音特征序列以及預先訓練的雙流長短期記憶網絡，確定待識別視頻對應各個標簽的概率值，所述雙流長短期記憶網絡基于附有視頻標簽的視頻樣本訓練得到，以及在所述訓練過程中，基于所述視頻樣本的最低級的子分類標簽進行訓練，并根據該子分類標簽對應的概率的大小，調整輸出的標簽級數，其中，所述視頻標簽為多級標簽，所述多級標簽按照標簽的大類和子分類生成；

將概率值大于閾值的標簽確定為所述待識別視頻的標簽。

2.根據權利要求1所述的方法，其中，所述提取所述待識別視頻的圖像特征序列包括：

均勻抽取所述待識別視頻的視頻幀，得到待識別視頻幀序列；

采用圖像分類網絡對待識別視頻幀序列進行特征提取，得到所述待識別視頻的圖像特征序列。

3.根據權利要求1所述的方法，其中，所述提取所述待識別視頻的語音特征序列包括：

抽取所述待識別視頻的音頻信號；

將所述待識別視頻的音頻信號輸入語音分類的卷積神經網絡，對每秒的語音進行特征提取，得到所述待識別視頻的語音特征序列。

4.根據權利要求1所述的方法，其中，所述基于所述圖像特征序列和所述語音特征序列，確定待識別視頻對應各個標簽的概率值包括：

將所述圖像特征序列和所述語音特征序列輸入預先訓練的雙流長短期記憶網絡，得到所述待識別視頻對應各個標簽的概率值。

5.根據權利要求4所述的方法，其中，所述預先訓練的雙流長短期記憶網絡經由以下步驟確定：

獲取附有視頻標簽的視頻樣本；

均勻抽取所述視頻樣本的視頻幀；

采用圖像分類網絡對所抽取的視頻幀進行特征提取，得到所述視頻樣本的圖像特征序列；

抽取所述視頻樣本中的音頻信號；

將所述視頻樣本中的音頻信號輸入語音分類的卷積神經網絡，對每秒的語音進行特征提取，得到所述視頻樣本的語音特征序列；

將所述視頻樣本的圖像特征序列、所述視頻樣本的語音特征序列作為輸入，將所述視頻樣本的視頻標簽作為輸出，訓練雙流長短期記憶網絡。

6.根據權利要求5所述的方法，其中，所述圖像分類網絡基于采用時序分段網絡所建模的所述視頻樣本的視頻幀的特征和所述視頻樣本對應的標簽訓練得到。

7.根據權利要求5所述的方法，其中，所述語音分類的卷積神經網絡基于以下步驟確定：

提取視頻樣本的音頻信號中的梅爾標度濾波器組特征；

基于所述梅爾標度濾波器組特征和所述視頻樣本的音頻信號對應的標簽，訓練語音分類的卷積神經網絡。

8.根據權利要求5所述的方法，其中，所述視頻樣本基于以下步驟確定：

獲取信息流數據庫中所有視頻的已標注標簽集合；

根據出現頻率從高到低排序所述已標注標簽；

從排序后的已標注標簽中提取預設數量的標簽作為候選標簽集合；

對所述候選標簽集合進行篩選，過濾掉符合過濾規則的詞語；

向量化過濾后的候選標簽集合中的候選標簽，計算兩兩候選標簽之間的相似度；

合并相似度大于預定閾值的兩個候選標簽；

判斷合并后的候選標簽中各標簽下的視頻是否具有外觀一致性和語義相似性，過濾掉具有歧義的標簽，得到選中的標簽；

基于所述選中的標簽，構建視頻樣本。

9.根據權利要求1所述的方法，其中，所述生成信息的方法還包括：

提取所述雙流長短期記憶網絡的全連接層輸出的特征向量；

比對所述特征向量與待推薦視頻的特征向量，得到視頻相似度；

基于所述視頻相似度，從所述待推薦視頻中確定向用戶推薦的視頻。