[發明專利]視頻描述語句的生成方法及相關設備

有效

• 申請號: 202010764613.8
• 申請日: 2020-07-31
• 公開（公告）號: CN111988673B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 袁藝天;馬林;朱文武
• 申請（專利權）人: 清華大學;騰訊科技（深圳）有限公司
• 主分類號: H04N21/84
• 分類號: H04N21/84;G06N3/0442;G06N3/08
• 代理公司: 深圳市聯鼎知識產權代理有限公司 44232
• 代理人: 朱黎

本申請的實施例提供了一種視頻描述語句的生成方法及相關設備，該方法包括：獲取目標范例句的句法特征向量；根據所述句法特征向量確定所要生成視頻描述語句的句法，得到句法信息；根據所述句法信息和目標視頻的視頻語義特征向量確定所述所要生成視頻描述語句對應于所述句法的語義，得到語義信息；根據所述語義信息生成所述目標視頻的視頻描述語句。由此，可以實現通過選用不同的目標范例句來生成不同句法結構的視頻描述語句，解決了視頻描述語句句法單一的問題。

技術領域

本申請涉及人工智能技術領域，具體而言，涉及一種視頻描述語句的生成方法及相關設備。

背景技術

視頻描述(Video?Captioning)是指為給定視頻生成可用于描述該視頻中內容的語句，所生成的語句被稱為視頻描述語句。通過為視頻生成的視頻描述語句，便于用戶不用觀看視頻而僅僅通過視頻描述語句即可快速獲知視頻的內容。相關技術中，所生成的視頻描述語句存在句法單一的問題。

發明內容

本申請的實施例提供了一種視頻描述語句的生成方法及相關設備，進而至少在一定程度上解決視頻描述語句所存在句法單一的問題。

本申請的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本申請的實踐而習得。

根據本申請實施例的一個方面，提供了一種視頻描述語句的生成方法，所述方法包括：獲取目標范例句的句法特征向量；根據所述句法特征向量確定所要生成視頻描述語句的句法，得到句法信息；根據所述句法信息和目標視頻的視頻語義特征向量確定所述所要生成視頻描述語句對應于所述句法的語義，得到語義信息；根據所述語義信息生成所述目標視頻的視頻描述語句。

根據本申請實施例的一個方面，提供了一種視頻描述語句的生成裝置，所述裝置包括：獲取模塊，用于獲取目標范例句的句法特征向量；句法確定模塊，用于根據所述句法特征向量確定所要生成視頻描述語句的句法，得到句法信息；語義確定模塊，用于根據所述句法信息和目標視頻的視頻語義特征向量確定所述所要生成視頻描述語句對應于所述句法的語義，得到語義信息；視頻描述語句確定模塊，用于根據所述語義信息生成所述目標視頻的視頻描述語句。

在本申請的一些實施例中，句法確定模塊被配置為：由描述生成模型所包含的第一神經網絡根據所述句法特征向量生成第一隱向量，所述第一隱向量用于指示所述句法信息，所述描述生成模型還包括與所述第一神經網絡級聯的第二神經網絡，所述第一神經網絡和第二神經網絡是基于門控的循環神經網絡。

在本實施例中，語義確定模塊被配置為：由所述第二神經網絡根據所述第一隱向量和所述視頻語義特征向量生成第二隱向量，所述第二隱向量用于指示所述語義信息。

在本申請的一些實施例中，視頻描述語句確定模塊被配置為：根據所述第二神經網絡在t時刻生成的第二隱向量確定t時刻的詞向量；根據各時刻所輸出的詞向量生成所述視頻描述語句。

在本實施例例中，句法確定模塊包括第一隱向量生成單元，其用于由所述第一神經網絡根據所述句法特征向量、t-1時刻的詞向量和所述第一神經網絡所生成t-1時刻的第一隱向量，輸出t時刻的第一隱向量。

在本實施例例中，語義確定模塊包括第二隱向量生成單元，其用于由所述第二神經網絡根據所述視頻語義特征向量、所述t時刻的第一隱向量和所述第二神經網絡所生成t-1時刻的第二隱向量，輸出t時刻的第二隱向量。

在本申請的一些實施例中，第一隱向量生成單元包括：第一軟注意力加權單元，用于根據所述t-1時刻的第一隱向量對所述句法特征向量進行軟注意力加權，得到對應于t時刻的目標句法特征向量。第一拼接單元，用于將所述對應于t時刻的目標句法特征向量與所述t-1時刻的詞向量進行拼接，得到對應于t時刻的第一拼接向量。第一輸出單元，用于由所述第一神經網絡以所述對應于t時刻的第一拼接向量作為輸入，對應輸出t時刻的第一隱向量。