[發明專利]視頻標題的生成方法、裝置、電子設備和存儲介質

在審

• 申請號: 201910356968.0
• 申請日: 2019-04-29
• 公開（公告）號: CN110213668A
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 左凱
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: H04N21/8352
• 分類號: H04N21/8352;H04N21/488;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種視頻標題的生成方法，其特征在于，所述方法包括：

將目標視頻的每幀圖像輸入至預先訓練的第一神經網絡中，預測得到每幀圖像對應的特征向量；

按照圖像的時間順序將所述每幀圖像對應的特征向量輸入至預先訓練的第二神經網絡中，預測得到每幀圖像對應的動作信息；

將所述目標視頻的每幀圖像輸入至預先訓練的第三神經網絡中，預測得到每幀圖像對應的場景信息；

按照圖像的時間順序將所述每幀圖像對應的動作信息、場景信息輸入至預先訓練的第四神經網絡中，預測得到標題信息。

2.根據權利要求1所述的方法，其特征在于，所述按照圖像的時間順序將所述每幀圖像對應的動作信息、場景信息輸入至預先訓練的第四神經網絡中，預測得到標題信息的步驟，包括：

識別所述每幀圖像中的語言信息；

按照圖像的時間順序將所述每幀圖像對應的動作信息、場景信息、語言信息輸入至預先訓練的第四神經網絡中，預測得到標題信息。

3.根據權利要求2所述的方法，其特征在于，所述按照圖像的時間順序將所述每幀圖像對應的動作信息、場景信息、語言信息輸入至預先訓練的第四神經網絡中，預測得到標題信息的步驟，包括：

對于每幀圖像，將對應的動作信息、場景信息、語言信息拼接為目標信息；

將所述目標信息輸入至預先訓練的第四神經網絡中，預測得到標題信息。

4.根據權利要求2所述的方法，其特征在于，所述識別所述每幀圖像中的語言信息的步驟，包括：

通過語音識別技術識別每幀圖像中的音頻信息；和/或，

通過文字識別技術識別每幀圖像中的文字信息；

將所述音頻信息和/或文字信息融合為語言信息。

5.根據權利要求4所述的方法，其特征在于，在所述將所述音頻信息和/或文字信息融合為語言信息的步驟之前，所述方法還包括：

通過基于人臉關鍵點的人臉檢測技術獲取每幀圖像中所述音頻信息和/或所述文字信息的人物信息；

所述將所述音頻信息和/或文字信息融合為語言信息的步驟，包括：

將所述音頻信息和/或文字信息、以及對應的所述人物信息融合為語言信息。

6.根據權利要求1至5其中任一項所述的方法，其特征在于，在所述將目標視頻的每幀圖像輸入至預先訓練的第一神經網絡中，預測得到每幀圖像對應的特征向量的步驟之前，所述方法還包括：

收集視頻樣本，所述視頻樣本中的每幀圖像樣本包括如下標注信息：動作標注信息、場景標注信息、標題標注信息；

通過所述視頻樣本以及所述動作標注信息、場景標注信息、標題標注信息，訓練第一神經網絡、第二神經網絡、第三神經網絡、第四神經網絡。

7.根據權利要求6所述的方法，其特征在于，所述通過所述視頻樣本以及所述動作標注信息、場景標注信息、標題標注信息，訓練第一神經網絡、第二神經網絡、第三神經網絡、第四神經網絡的步驟，包括：

將所述視頻樣本的每幀圖像樣本輸入至第一神經網絡中，預測得到每幀圖像樣本對應的特征向量；

按照圖像樣本的時間順序將所述每幀圖像樣本對應的特征向量輸入至第二神經網絡中，預測得到每幀圖像樣本對應的動作信息；

根據每幀圖像樣本對應的動作標注信息和所述動作信息，對第一神經網絡、所述第二神經網絡進行訓練；

將所述視頻樣本的每幀圖像樣本輸入至第三神經網絡中，預測得到每幀圖像樣本對應的場景信息；

根據每幀圖像樣本對應的場景標注信息和場景信息，對第三神經網絡進行訓練；

按照圖像樣本的時間順序將所述每幀圖像樣本對應的動作信息、場景信息輸入至第四神經網絡中，預測得到標題信息；

根據視頻樣本對應的標題標注信息和標題信息，對所述第四神經網絡進行訓練。

8.根據權利要求1至7其中任一項所述的方法，其特征在于，所述第一神經網絡模型為三維卷積神經網絡，第二神經網絡模型和第四神經網絡模型均為長短期記憶網絡，第三神經網絡模型為卷積神經網絡。