[發明專利]視頻描述文本生成方法、裝置、設備和介質

有效

• 申請號: 201910542820.6
• 申請日: 2019-06-21
• 公開（公告）號: CN110263218B
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 卞東海;蔣帥;陳思姣;曾啟飛;羅雨;彭衛華
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/78
• 分類號: G06F16/78
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種視頻描述文本生成方法，其特征在于，包括：

根據預設描述詞語與待描述視頻的相關度，從所述預設描述詞語中確定候選描述詞語，其中所述候選描述詞語的數量小于所述預設描述詞語的數量；

提取所述待描述視頻的目標實體信息和行為動作信息；

根據所述待描述視頻的視覺特征，從所述候選描述詞語、所述目標實體信息和所述行為動作信息中，選擇目標描述文本中的各位置詞語，以生成所述待描述視頻的目標描述文本；

所述根據預設描述詞語與待描述視頻的相關度，從所述預設描述詞語中確定候選描述詞語，包括：

根據所述待描述視頻的視覺特征和所述預設描述詞語的詞向量，確定所述預設描述詞語的選擇概率，其中所述預設描述詞語的詞向量預先訓練得到，且詞向量在預先訓練中，根據訓練描述文本與訓練視頻的訓練目標之間的誤差進行調整，訓練描述文本為預設描述詞語中的訓練描述詞語針對訓練視頻生成；

根據所述選擇概率從所述預設描述詞語中確定所述候選描述詞語。

2.根據權利要求1所述的方法，其特征在于，所述詞向量的預先訓練過程包括：

根據訓練視頻的視覺特征和所述預設描述詞語的初始詞向量，從所述預設描述詞語中確定訓練描述詞語；

根據所述訓練視頻的視覺特征，從所述訓練描述詞語中選擇訓練描述文本中的各位置詞語，以生成描述所述訓練視頻的訓練描述文本；

根據所述訓練描述文本與所述訓練視頻的訓練目標之間的誤差，對所述預設描述詞語的初始詞向量進行調整；

基于調整后的預設描述詞語的詞向量，返回繼續執行上述訓練步驟，直至滿足訓練截止條件。

3.根據權利要求1所述的方法，其特征在于，所述根據所述待描述視頻的視覺特征，從所述候選描述詞語、所述目標實體信息和所述行為動作信息中，選擇目標描述文本中的各位置詞語，包括：

根據所述待描述視頻的視覺特征和文本中詞語間的連接關系，預測所述候選描述詞語、所述目標實體信息和所述行為動作信息作為所述各位置詞語的概率；

根據所述候選描述詞語、所述目標實體信息和所述行為動作信息作為所述各位置詞語的概率，從所述候選描述詞語、所述目標實體信息和所述行為動作信息中，選擇所述目標描述文本中的各位置詞語。

4.根據權利要求3所述的方法，其特征在于，所述根據所述待描述視頻的視覺特征和文本中詞語間的連接關系，預測所述候選描述詞語、所述目標實體信息和所述行為動作信息作為所述各位置詞語的概率，包括：

基于注意力機制，根據所述待描述視頻的視覺特征和所述目標描述文本中任一當前位置詞語的上一位置詞語的狀態表示，確定所述待描述視頻中各視頻圖像對所述當前位置詞語的貢獻權重；

根據所述當前位置詞語的貢獻權重、所述上一位置詞語和所述上一位置詞語的狀態表示，確定所述候選描述詞語、所述目標實體信息和所述行為動作信息作為所述當前位置詞語的概率。

5.根據權利要求4所述的方法，其特征在于，所述根據所述當前位置詞語的貢獻權重、所述上一位置詞語和所述上一位置詞語的狀態表示，確定所述候選描述詞語、所述目標實體信息和所述行為動作信息作為所述當前位置詞語的概率，包括：

根據所述當前位置詞語的貢獻權重、所述上一位置詞語和所述上一位置詞語的狀態表示，確定所述當前位置詞語的狀態表示；

根據所述當前位置詞語的狀態表示和所述上一位置詞語，確定所述候選描述詞語、所述目標實體信息和所述行為動作信息作為所述當前位置詞語的概率。

6.根據權利要求1所述的方法，其特征在于，所述根據所述待描述視頻的視覺特征，從所述候選描述詞語、所述目標實體信息和所述行為動作信息中，選擇目標描述文本中的各位置詞語之前，所述方法還包括：

提取所述待描述視頻的二維紋理特征和三維動態紋理特征；

拼接所述二維紋理特征和所述三維動態紋理特征，生成所述待描述視頻的視覺特征。