[發明專利]視頻生成方法和裝置、存儲介質及電子設備

有效

• 申請號: 202010873855.0
• 申請日: 2020-08-26
• 公開（公告）號: CN112015949B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 屠子睿;俞一鵬;孫子荀;盧瓏予
• 申請（專利權）人: 騰訊科技（上海）有限公司
• 主分類號: G06F16/78
• 分類號: G06F16/78;G06F16/71;G06F16/75;G06F40/30;G06F40/289;G06F40/284;G06V10/74
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周婷婷

本發明公開了一種視頻生成方法和裝置、存儲介質及電子設備。該方法包括：獲取目標描述文字的描述特征；在描述特征包括目標描述文字的語義表征向量以及一組詞語時，根據語義表征向量在目標素材集合中搜索第一素材，根據一組詞語在目標素材集合中搜索第二素材，一組詞語為對目標描述文字進行分詞得到的詞語，第一素材的素材描述向量與語義表征向量之間的相似度大于第一閾值，第二素材的素材描述信息與一組詞語中的詞語匹配，目標素材集合中包括多種類型的素材，多種類型包括視頻類型；根據第一素材和第二素材生成與目標描述文字對應的目標視頻。采用上述技術方案，解決了相關技術中，在基于文字生成視頻時，存在生成的視頻質量低的問題。

技術領域

本發明涉及計算機領域，具體而言，涉及一種視頻生成方法和裝置、存儲介質及電子設備。

背景技術

目前，為了提高用戶的閱讀體驗，可以基于文字故事轉換成視頻觀看，方便用戶需求，且增加趣味性。

相關技術中，主要采取以下技術方案：

技術方案一：從故事文本中提取場景描述信息，根據場景描述信息生成含有相應場景畫面的圖像；然后基于圖像生成視頻。但是，該技術方案是針對幀級別的圖像進行處理，再添加與文字相關的內容，生成視頻的流暢程度有限且質量較低，無法很好的表達描述文字的內容。

技術方案二：獲取待處理的純文字類的文本；根據文本生成音頻及字幕；從互聯網中挖掘文本的相關圖片；根據相關圖片、音頻及字幕生成視頻。但是，在進行視頻生成時，需要經過文本到音頻、字幕、圖像，再經由圖像產生視頻的流程，每一步都存在信息的損失，無法很好的表達描述文字的內容，且視頻由圖像組成，質量較低。

針對相關技術中，在基于文字生成視頻時，存在生成的視頻質量低的問題，尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種視頻生成方法和裝置、存儲介質及電子設備，以至少解決相關技術中，在基于文字生成視頻時，存在生成的視頻質量低的問題。

根據本發明實施例的一個方面，提供了一種視頻生成方法，包括：獲取目標描述文字的描述特征；在上述描述特征包括上述目標描述文字的語義表征向量以及一組詞語的情況下，根據上述語義表征向量在目標素材集合中搜索第一素材，根據上述一組詞語在上述目標素材集合中搜索第二素材，其中，上述一組詞語為對上述目標描述文字進行分詞得到的詞語，上述第一素材的素材描述向量與上述語義表征向量之間的相似度大于第一閾值，上述第二素材的素材描述信息與上述一組詞語中的詞語匹配，上述目標素材集合中包括多種類型的素材，上述多種類型包括視頻類型；根據上述第一素材和上述第二素材生成與上述目標描述文字對應的目標視頻。

根據本發明實施例的另一方面，還提供了一種視頻生成裝置，包括：第一獲取單元，用于獲取目標描述文字的描述特征；第一處理單元，用于在上述描述特征包括上述目標描述文字的語義表征向量以及一組詞語的情況下，根據上述語義表征向量在目標素材集合中搜索第一素材，根據上述一組詞語在上述目標素材集合中搜索第二素材，其中，上述一組詞語為對上述目標描述文字進行分詞得到的詞語，上述第一素材的素材描述向量與上述語義表征向量之間的相似度大于第一閾值，上述第二素材的素材描述信息與上述一組詞語中的詞語匹配，上述目標素材集合中包括多種類型的素材，上述多種類型包括視頻類型；第二處理單元，用于根據上述第一素材和上述第二素材生成與上述目標描述文字對應的目標視頻。

根據本申請的又一方面，提供了一種計算機程序產品或計算機程序，該計算機程序產品或計算機程序包括計算機指令，該計算機指令存儲在計算機可讀存儲介質中。計算機設備的處理器從計算機可讀存儲介質讀取該計算機指令，處理器執行該計算機指令，使得該計算機設備執行上述視頻生成方法的各種可選實現方式中提供的方法。

根據本發明實施例的又一方面，還提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，上述處理器被設置為通過上述計算機程序執行執行上述視頻生成方法。