[發明專利]視頻生成方法、裝置、設備及存儲介質

在審

• 申請號: 202310557882.0
• 申請日: 2023-05-17
• 公開（公告）號: CN116600155A
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 舒暢;陳又新
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;G06N3/08;G06N3/0455;H04N21/234;H04N21/4402;H04N21/44
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 郭夢霞

1.一種視頻生成方法，其特征在于，所述方法包括：

獲取視頻訓練集合，對所述視頻訓練集合中的視頻進行逐幀圖像分割，得到原始圖像訓練集合；

在所述原始圖像訓練集合的圖像中添加位置信息，得到標準圖像訓練集合，并利用預訓練的特征提取模型對所述標準圖像訓練集合中的圖像進行特征提取，得到原始圖像特征集合；

對所述標準圖像訓練集合中的圖像進行位置編碼，得到位置特征向量集合，基于所述位置特征向量集合及所述原始圖像特征集合構建標準圖像特征集合；

利用所述標準圖像特征集合訓練預構建的圖像特征預測模型，得到圖像特征生成模型；

獲取帶有起始位置信息的待分析圖像，利用所述圖像特征生成模型對所述待分析圖像進行上下文圖像特征生成，得到帶有預測位置信息的上下文圖像特征；

利用預設的圖像解碼器對所述上下文圖像特征進行圖像還原，得到上下文圖像集合；

利用所述起始位置信息及所述上下文圖像特征中的預測位置信息對所述待分析圖像及所述上下文圖像集合中的圖像進行串聯，得到串聯視頻。

2.如權利要求1所述的視頻生成方法，其特征在于，所述對所述視頻訓練集合中的視頻進行逐幀圖像分割，得到原始圖像訓練集合，包括：

對所述視頻訓練集合中的視頻進行下采樣處理，得到采樣視頻集合；

對所述采樣視頻集合中的視頻進行逐幀圖像提取，得到原始圖像訓練集合。

3.如權利要求1所述的視頻生成方法，其特征在于，所述在所述原始圖像訓練集合的圖像中添加位置信息，得到標準圖像訓練集合，包括：

按照預設的滑動窗口對所述原始圖像訓練集合中的圖像進行像素塊分割，得到像素塊集合；

按照預設的第一隨機值對所述像素塊集合中的像素塊進行隨機遮掩處理，得到標準像素塊集合；

對所述標準像素塊集合中的像素塊進行平鋪處理，得到圖像序列集合；

在所述圖像序列集合中添加位置信息，匯總所有添加完位置信息的圖像序列得到所述標準圖像訓練集合。

4.如權利要求1中所述的視頻生成方法，其特征在于，所述對所述標準圖像訓練集合中的圖像進行位置編碼，得到位置特征向量集合，基于所述位置特征向量集合及所述原始圖像特征集合構建標準圖像特征集合，包括：

基于所述標準圖像訓練集合中圖像的位置信息對所述標準圖像訓練集合中的圖像進行位置編碼，得到位置特征向量集合；

基于所述位置信息將所述位置特征向量集合中的向量及所述原始圖像特征集合中的特征向量進行相加，得到所述標準圖像特征集合。

5.如權利要求4所述的視頻生成方法，其特征在于，通過下述公式對所述標準圖像訓練集合中的圖像進行位置編碼：

其中，pos表示位置信息，i表示特征里的維度，d_model表示特征的總維度，PE_(pos,2i)表示位置信息為pos的圖像第2維位置的特征編碼參數，PE_(pos,2i+1)表示位置信息為pos的圖像第2+1維位置的特征編碼參數。

6.如權利要求4所述的視頻生成方法，其特征在于，所述利用所述標準圖像特征集合訓練預構建的圖像特征預測模型，得到圖像特征生成模型，包括：

按照預設的第二隨機值對所述標準圖像特征集合中的圖像特征進行隨機遮掩處理，得到遮掩特征向量；

利用所述圖像特征預測模型對所述遮掩特征向量進行特征預測，得到預測概率；

基于所述預測概率計算預測損失值，并在所述預測損失值不滿足預設的損失閾值時，調整所述圖像特征預測模型的網絡參數，返回所述利用所述圖像特征預測模型對所述遮掩特征向量進行特征預測的步驟，直至所述預測損失值滿足所述損失閾值時，停止訓練，將訓練完成的圖像特征預測模型作為圖像特征生成模型。