[發明專利]視頻描述生成方法、裝置、設備以及存儲介質

有效

• 申請號: 202210271140.7
• 申請日: 2022-03-18
• 公開（公告）號: CN114661953B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 汪琦;馮知凡;柴春光;朱勇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/78
• 分類號: G06F16/78
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 李興福;臧建明

1.一種視頻描述生成方法，包括：

獲取待處理的目標視頻，所述目標視頻包括多個目標對象；

提取所述目標視頻的視覺特征；

根據所述目標視頻的視覺特征獲取所述目標視頻的知識增強特征，所述知識增強特征包括所述目標視頻的事件特征以及所述目標視頻中目標對象之間的關系特征；

將所述目標視頻的所述視覺特征以及所述知識增強特征輸入視頻描述生成模型，得到所述目標視頻對應的視頻描述文本；

所述將所述目標視頻的所述視覺特征以及所述知識增強特征輸入視頻描述生成模型，得到所述目標視頻對應的視頻描述文本，包括：

將所述目標視頻的所述視覺特征中的外觀特征以及動作特征進行拼接，得到拼接后的特征；

將所述拼接后的特征、所述事件特征以及所述關系特征同時輸入所述視頻描述生成模型的編碼模塊進行編碼處理，再通過所述視頻描述生成模型的解碼模塊進行解碼處理，獲得所述目標視頻對應的視頻描述文本。

2.根據權利要求1所述的方法，其中，所述視覺特征包括外觀特征、動作特征以及對象特征的至少一項；所述提取所述目標視頻的視覺特征，包括：

采用二維卷積神經網絡提取所述目標視頻中每幀圖像的外觀特征；和/或

采用三維卷積神經網絡提取所述目標視頻中每幀圖像的動作特征，所述動作特征用于指示目標對象的動作屬性；和/或

采用目標檢測算法提取所述目標視頻中每幀圖像的目標對象的對象特征。

3.根據權利要求1或2所述的方法，其中，所述根據所述目標視頻的視覺特征獲取所述目標視頻的知識增強特征，包括：

根據所述目標視頻的外觀特征以及動作特征，獲取所述目標視頻的事件特征。

4.根據權利要求3所述的方法，其中，所述根據所述目標視頻的外觀特征以及動作特征，獲取所述目標視頻的事件特征，包括：

將所述目標視頻的外觀特征以及動作特征進行拼接，得到拼接后的特征；

將所述拼接后的特征輸入事件檢測模型，得到所述目標視頻對應的事件類型；

根據預先構建的事件知識圖譜以及所述目標視頻對應的事件類型，獲取所述目標視頻對應的事件類型的向量表示；所述事件知識圖譜包括多種事件類型的向量表示。

5.根據權利要求1或2所述的方法，其中，所述根據所述目標視頻的視覺特征獲取所述目標視頻的知識增強特征，包括：

根據所述目標視頻中每幀圖像的對象特征，獲取所述目標視頻中目標對象之間的關系特征。

6.根據權利要求1所述的方法，其中，所述目標對象之間的關系特征包括單幀圖像中目標對象之間的關系特征以及幀間圖像目標對象之間的關系特征的至少一項。

7.根據權利要求5所述的方法，其中，所述根據所述目標視頻中每幀圖像的對象特征，獲取所述目標視頻中目標對象之間的關系特征，包括：

將所述目標視頻中每幀圖像的對象特征輸入預設的對象關系編碼器，獲取所述目標視頻中每幀圖像中目標對象之間的關系特征。

8.根據權利要求5所述的方法，其中，所述根據所述目標視頻中每幀圖像的對象特征，獲取所述目標視頻中目標對象之間的關系特征，包括：

將所述目標視頻中每幀圖像的對象特征輸入預設的對象關系編碼器，獲取所述目標視頻中每幀圖像中目標對象之間的關系特征；

根據所述目標視頻中每幀圖像中目標對象之間的關系特征，以及所述目標視頻中每幀圖像的對象特征，獲取所述目標視頻中幀間圖像目標對象之間的關系特征。

9.根據權利要求8所述的方法，其中，所述根據所述目標視頻中每幀圖像中目標對象之間的關系特征，以及所述目標視頻中每幀圖像的對象特征，獲取所述目標視頻中幀間圖像目標對象之間的關系特征，包括：

將所述目標視頻中每幀圖像的目標對象之間的關系特征，以及所述目標視頻中每幀圖像的對象特征輸入圖卷積網絡，獲取所述目標視頻中幀間圖像目標對象之間的關系特征。