[發明專利]視頻智能生成方法及裝置

在審

• 申請號: 201811403132.3
• 申請日: 2018-11-22
• 公開（公告）號: CN109658369A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 周詩怡;陳云霽
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 張宇園

本公開提供一種視頻智能生成裝置和生成方法，其中該生成方法包括：生成模塊，通過第一人工神經網絡，根據輸入的合成指示數據，生成相應的創作圖片；合成模塊，根據所述創作圖片，進行圖片合成，生成合成圖片；視頻處理模塊，將合成圖片作為視頻幀進行處理，獲得合成視頻。通過本公開的裝置能節省人力物力，減少后期視頻制作過程。

技術領域

本公開涉及信息處理技術領域，具體涉及一種視頻智能生成方法以及實現該方法的裝置。

背景技術

現有技術中，通常對于視頻生成有很大需求，相應對視頻智能生成裝置也有需求，例如，在電視電影制作中，會需要進行大量的修改圖像或者視頻幀的工作，例如對于玄幻劇的功法，通常的做法是需要專業人員應用專業軟件花費大量的時間進行修改，這種修改方式不但費時費力，而且由于技術人員的技術水平存在區別，也會對于后期的制作效果產品難以預料到的影響。

發明內容

(一)要解決的技術問題

有鑒于此，本公開的目的在于提供一種視頻智能生成方法以及實現該方法的裝置，以至少部分解決上述技術問題。

(二)技術方案

根據本公開的一方面，提供一種視頻智能生成裝置，包括：

生成模塊，通過第一人工神經網絡，根據輸入的合成指示數據，生成相應的創作圖片；

合成模塊，根據所述創作圖片，進行圖片合成，生成合成圖片；

視頻處理模塊，將合成圖片作為視頻幀進行處理，獲得合成視頻。

在進一步的實施方案中，還包括：圖像視頻接收模塊，用于接收外部輸入的圖像和/或視頻，且輸入至所述合成模塊；所述合成模塊還用于根據由圖像視頻接收模塊輸入的圖像和/或視頻幀，以及生成模塊輸出的創作圖片，進行圖片合成；所述視頻處理模塊還用于將圖像視頻接收模塊中的視頻作為部分輸入，獲得合成視頻。

在進一步的實施方案中，還包括：文字接收模塊，用于接收外部輸入的文字，生成合成指示數據。

在進一步的實施方案中，所述生成模塊中，通過第一人工神經網絡，根據輸入的合成指示數據，生成相應的創作圖片，包括：通過生成對抗網絡進行創作圖片的生成，該對抗網絡包括生成器神經網絡和鑒別器神經網絡；生成器神經網絡輸入隨機向量，輸出生成數據；鑒別器神經網絡的輸入為真實數據和生成器神經網絡的生成數據，輸出為對生成數據的判斷。

在進一步的實施方案中，所述生成對抗網絡中，還通過鑒別器神經網絡的輸出反向傳播更新鑒別器神經網絡和生成器神經網絡。

在進一步的實施方案中，在所述生成模塊中，還包括對生成器神經網絡和鑒別器神經網絡進行訓練：采用真實圖片作為訓練樣本，獲取圖片的第一數據分布特征，確定圖片的第一鑒別器得分；生成器輸入隨機噪聲，該隨機噪聲對應生成指示數據對應的類別，輸出模仿的該類別對應真實圖片的第二數據分布特征，確定該第二數據分布的第二鑒別器得分；根據第一鑒別器得分和第二鑒別器得分的梯度進行更新，分別更新生成器神經網絡和鑒別器神經網絡。

在進一步的實施方案中，所述合成模塊包括：特征提取子模塊，通過第二人工神經網絡進行圖片合成，通過所述創作圖片、圖像視頻接收模塊輸入的圖像和/或圖像視頻接收模塊輸入的視頻幀，提取特定特征；

特征合成子模塊，將提取的特定特征合并至同一圖中。

在進一步的實施方案中，所述視頻處理模塊中，將合成圖片作為視頻幀進行處理，包括：使用第三人工神經網絡對許多的視頻幀，輸入合成指示數據，還輸入合成圖片和/或圖像視頻接收模塊輸入的視頻，輸出多幀圖片內容。

在進一步的實施方案中，所述第一人工神經網絡、第二人工神經網絡和第三人工神經網絡分別包括卷積層、全連接層、池化層和批歸一化層。