[發明專利]一種基于視頻圖像的未來幀預測方法及模型

在審

• 申請號: 201911089718.1
• 申請日: 2019-11-08
• 公開（公告）號: CN110839156A
• 公開（公告）日: 2020-02-25
• 發明（設計）人: 趙志誠;蘇菲;杜麗
• 申請（專利權）人: 北京郵電大學
• 主分類號: H04N19/149
• 分類號: H04N19/149;H04N19/30;H04N19/533
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 祗志潔

1.一種基于視頻圖像的未來幀預測模型，其特征在于，包括：記憶回溯模塊、記憶精煉模塊、特征融合模塊以及圖像預測模塊；

記憶回溯模塊利用三維卷積網絡的卷積操作部分對輸入的視頻段進行空時特征提取，空時特征包括視頻圖像幀的空間特征和幀間時序特征；記憶精煉模塊利用三維反卷積層將所述的空時特征抽象為高層空時語義特征；特征融合模塊將所述的高層空時語義特征與輸入的視頻段的最后一幀基于二維神經網絡的多通道進行信息融合與推理，輸出融合后的空間特征給圖像預測模塊；圖像預測模塊進行未來幀空間特征的預測，輸出預測圖像。

2.根據權利要求1所述的模型，其特征在于，所述的記憶回溯模塊包含三維卷積層、三維最大池化層和三維正則化層，卷積核提取的特征之間沒有重疊；所述的記憶精煉模塊包含三維卷積層和反卷積對；所述的圖像預測模塊包含二維卷積層和二維正則化層。

3.根據權利要求2所述的模型，且特征在于，所述的記憶回溯模塊包含9個三維卷積層、4個三維最大池化層和9個三維正則化層；所述的記憶精煉模塊包含6個三維卷積層和反卷積對；所述的圖像預測模塊包含4個二維卷積層和3個二維正則化層。

4.根據權利要求2或3所述的模型，其特征在于，所述的記憶回溯模塊中，所有三維卷積層的卷積核大小為2*3*3；所有最大池化層的卷積核大小為1*2*2，第一個和第三個最大池化層的跨度均為2*2*2，第二個最大池化層的跨度為1*2*2，最后一個最大池化層的跨度為2*3*3；所述的記憶精煉模塊中，三維卷積層的核函數大小為3*2*2，三維反卷積核函數大小為1*2*2，且各反卷積層都分別設有固定大小的跨度和填充操作；所述的圖像預測模塊中，前2個卷積層的卷積核大小為3*3，后2個卷積層的卷積核大小為3*2，前3個卷積層的填充值為1。

5.一種基于視頻圖像的未來幀預測方法，其特征在于，包括：

步驟1、順序讀取視頻幀序列，組成固定長度的視頻段序列，相鄰的視頻段具有重疊區域；

步驟2、將視頻段輸入記憶回溯模塊，記憶回溯模塊利用三維卷積網絡的卷積操作部分對輸入的視頻段進行空時特征提取，空時特征包括視頻圖像幀的空間特征和幀間時序特征；

步驟3、對提取的空時特征通過記憶精煉模塊，抽象為更高層次的隱含特征；

所述的記憶精煉模塊利用三維反卷積層將空時特征抽象為高層空時語義特征；

步驟4、將隱含特征與輸入的視頻段中的最后一幀基于二維神經網絡的多通道進行特征融合，然后輸入到圖像預測模塊，圖像預測模塊基于二維卷積網絡對輸入的視頻段的未來幀的空間特征進行預測，最終輸出預測的圖像幀。

6.根據權利要求5所述的方法，其特征在于，所述的步驟1中，還對各視頻段內包含的圖像幀的像素值都歸一化到[-1,1]的范圍內。