[發明專利]視頻智能生成方法及裝置

在審

• 申請號: 201811403132.3
• 申請日: 2018-11-22
• 公開（公告）號: CN109658369A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 周詩怡;陳云霽
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 張宇園

1.一種視頻智能生成裝置，其特征在于包括：

生成模塊，通過第一人工神經網絡，根據輸入的合成指示數據，生成相應的創作圖片；

合成模塊，根據所述創作圖片，進行圖片合成，生成合成圖片；

視頻處理模塊，將合成圖片作為視頻幀進行處理，獲得合成視頻。

2.根據權利要求1所述的裝置，其特征在于，還包括：

圖像視頻接收模塊，用于接收外部輸入的圖像和/或視頻，且輸入至所述合成模塊；

所述合成模塊還用于根據由圖像視頻接收模塊輸入的圖像和/或視頻幀，以及生成模塊輸出的創作圖片，進行圖片合成；

所述視頻處理模塊還用于將圖像視頻接收模塊中的視頻作為部分輸入，獲得合成視頻。

3.根據權利要求1所述的裝置，其特征在于，還包括：

文字接收模塊，用于接收外部輸入的文字，生成合成指示數據。

4.根據權利要求1所述的裝置，其特征在于，所述生成模塊中，通過第一人工神經網絡，根據輸入的合成指示數據，生成相應的創作圖片，包括：

通過生成對抗網絡進行創作圖片的生成，該對抗網絡包括生成器神經網絡和鑒別器神經網絡；生成器神經網絡輸入隨機向量，輸出生成數據；鑒別器神經網絡的輸入為真實數據和生成器神經網絡的生成數據，輸出為對生成數據的判斷。

5.根據權利要求4所述的裝置，其特征在于，所述生成對抗網絡中，還通過鑒別器神經網絡的輸出反向傳播更新鑒別器神經網絡和生成器神經網絡。

6.根據權利要求4所述的裝置，其特征在于，在所述生成模塊中，還包括對生成器神經網絡和鑒別器神經網絡進行訓練：

采用真實圖片作為訓練樣本，獲取圖片的第一數據分布特征，確定圖片的第一鑒別器得分；

生成器輸入隨機噪聲，該隨機噪聲對應生成指示數據對應的類別，輸出模仿的該類別對應真實圖片的第二數據分布特征，確定該第二數據分布的第二鑒別器得分；

根據第一鑒別器得分和第二鑒別器得分的梯度進行更新，分別更新生成器神經網絡和鑒別器神經網絡。

7.根據權利要求2所述的裝置，其特征在于，所述合成模塊包括：

特征提取子模塊，通過第二人工神經網絡進行圖片合成，通過所述創作圖片、圖像視頻接收模塊輸入的圖像和/或圖像視頻接收模塊輸入的視頻幀，提取特定特征；

特征合成子模塊，將提取的特定特征合并至同一圖中。

8.根據權利要求1所述的裝置，其特征在于，所述視頻處理模塊中，將合成圖片作為視頻幀進行處理，包括：

使用第三人工神經網絡對許多的視頻幀，輸入合成指示數據，還輸入合成圖片和/或圖像視頻接收模塊輸入的視頻，輸出多幀圖片內容。

9.根據權利要求7或8所述的裝置，其特征在于，所述第一人工神經網絡、第二人工神經網絡和第三人工神經網絡分別包括卷積層、全連接層、池化層和批歸一化層。

10.根據權利要求2所述的裝置，其特征在于，所述生成模塊、合成模塊、視頻處理模塊和圖像視頻接收模塊各自采用不同的神經網絡芯片，或者至少兩個集成于同一神經網絡芯片。

11.一種視頻智能生成方法，其特征在于包括：

通過生成模塊，根據第一人工神經網絡以及輸入的合成指示數據，生成相應的創作圖片；

通過合成模塊，根據所述創作圖片，進行圖片合成，生成合成圖片；

通過視頻處理模塊，將合成圖片作為視頻幀進行處理，獲得合成視頻。